# 11. Um breve passeio pela biblioteca padrão — parte II

Este segundo passeio apresenta alguns módulos avançados que atendem necessidades de programação profissional. Estes módulos raramente aparecem em scripts pequenos.

## 11.1. Formatando a saída

O módulo `reprlib` fornece uma versão de `repr()` personalizado para exibições abreviadas de contêineres grandes ou profundamente aninhados:

    >>> import reprlib
    >>> reprlib.repr(set('supercalifragilisticexpialidoce'))
    "{'a', 'c', 'd', 'e', 'f', 'g', ...}"

O módulo `pprint` oferece um controle mais sofisticado na exibição tanto de objetos embutidos quanto aqueles criados pelo usuário de maneira que fique legível para o interpretador. Quando o resultado é maior que uma linha, o “pretty printer” acrescenta quebras de linha e indentação para revelar as estruturas de maneira mais clara:

    >>> import pprint
    >>> t = [[[['preto', 'ciano'], 'branco', ['verde', 'vermelho']], [['magenta',
    ...     'amarelo'], 'azul']]]
    >>>
    >>> pprint.pprint(t, width=30)
    [[[['preto', 'ciano'],
       'branco',
       ['verde', 'vermelho']],
      [['magenta', 'amarelo'],
       'azul']]]

O módulo `textwrap` formata parágrafos de texto para que caibam em uma dada largura de tela:

    >>> import textwrap
    >>> doc = """O método wrap() é como fill(), exceto que ele retorna
    ... uma lista de strings em vez de uma string grande com quebras
    ... de linha para separar as linhas quebradas."""
    ...
    >>> print(textwrap.fill(doc, width=40))
    O método wrap() é como fill(), exceto
    que ele retorna uma lista de strings em
    vez de uma string grande com quebras de
    linha para separar as linhas quebradas.

O módulo `locale` acessa uma base de dados de formatos específicos a determinada cultura. O atributo de agrupamento da função “format” oferece uma forma direta de formatar números com separadores de grupo:

    >>> import locale
    >>> locale.setlocale(locale.LC_ALL, 'English_United States.1252')
    'English_United States.1252'
    >>> conv = locale.localeconv()          # obtém mapeamento de convenções
    >>> x = 1234567.8
    >>> locale.format_string("%d", x, grouping=True)
    '1,234,567'
    >>> locale.format_string("%s%.*f", (conv['currency_symbol'],
    ...                      conv['frac_digits'], x), grouping=True)
    '$1,234,567.80'

## 11.2. Usando templates

módulo `string` inclui a versátil classe `Template` com uma sintaxe simplificada, adequada para ser editada por usuários finais. Isso permite que usuários personalizem suas aplicações sem a necessidade de alterar a aplicação.

Em um template são colocadas marcações indicando o local onde o texto variável deve ser inserido. Uma marcação é formada por `$` seguido de um identificador Python válido (caracteres alfanuméricos e underscores). Envolvendo-se o identificador da marcação entre chaves, permite que ele seja seguido por mais caracteres alfanuméricos sem a necessidade de espaços. Escrevendo-se `$$` cria-se um único `$`:

    >>> from string import Template
    >>> t = Template('O povo de ${vila} envia $$10 para $causa.')
    >>> t.substitute(vila='Nottingham', causa='o fundo de recuperação')
    'O povo de Nottingham envia $10 para o fundo de recuperação.'

O método `substitute()` levanta uma exceção `KeyError` quando o identificador de uma marcação não é fornecido em um dicionário ou em um argumento nomeado (keyword argument). Para aplicações que podem receber dados incompletos fornecidos pelo usuário, o método `safe_substitute()` pode ser mais apropriado — deixará os marcadores intactos se os dados estiverem faltando:

    >>> t = Template('Devolva $item para $dono.')
    >>> d = dict(item='a andorinha descarregada')
    >>> t.substitute(d)
    Traceback (most recent call last):
      ...
    KeyError: 'dono'
    >>> t.safe_substitute(d)
    'Devolva a andorinha descarregada para $dono.'

Subclasses de Template podem especificar um delimitador personalizado. Por exemplo, um utilitário para renomeação em lote de fotos pode usar o sinal de porcentagem para marcações como a data atual, número sequencial da imagem ou formato do aquivo:

    >>> import time, os.path
    >>> arquivos_fotos = ['img_1074.jpg', 'img_1076.jpg', 'img_1077.jpg']
    >>> class RenomeiaEmLote(Template):
    ...     delimiter = '%'
    ...
    >>> formato = input('Informe o estilo de renomeação (%d-data %n-sequencia %f-formato):  ')
    Informe o estilo de renomeação (%d-data %n-sequencia %f-formato):  Ashley_%n%f

    >>> t = RenomeiaEmLote(formato)
    >>> data = time.strftime('%d%b%y')
    >>> for i, nome_arquivo in enumerate(arquivos_fotos):
    ...     base, extensão = os.path.splitext(nome_arquivo)
    ...     novo_nome = t.substitute(d=data, n=i, f=extensão)
    ...     print('{0} --> {1}'.format(nome_arquivo, novo_nome))

    img_1074.jpg --> Ashley_0.jpg
    img_1076.jpg --> Ashley_1.jpg
    img_1077.jpg --> Ashley_2.jpg

Outra aplicação para templates é separar a lógica da aplicação dos detalhes de múltiplos formatos de saída. Assim é possível usar templates personalizados para gerar arquivos XML, relatórios em texto puro e relatórios web em HTML.

## 11.3. Trabalhando com formatos binários de dados

O módulo `struct` oferece as funções `pack()` e `unpack()` para trabalhar com registros binários de tamanho variável. O exemplo a seguir mostra como iterar através do cabeçalho de informação num aquivo ZIP sem usar o módulo `zipfile`. Os códigos de empacotamento `"H"` e `"I"` representam números sem sinal de dois e quatro bytes respectivamente. O `"<"` indica que os números têm tamanho padrão e são little-endian (bytes menos significativos primeiro):

    import struct

    with open('meuarquivo.zip', 'rb') as arq:
        dados = arq.read()

    inicio = 0
    for i in range(3):                      # mostra o cabeçalho dos 3 primeiros arquivos
        inicio += 14
        campos = struct.unpack('<IIIHH', dados[inicio:inicio+16])
        crc32, tamanho_comprimido, tamanho_descomprimido, tamanho_nome_arquivo, tamanho_extra = campos

        inicio += 16
        nome_arquivo = dados[inicio:inicio+tamanho_nome_arquivo]
        inicio += tamanho_nome_arquivo
        extra = dados[inicio:inicio+tamanho_extra]
        print(nome_arquivo, hex(crc32), tamanho_comprimido, tamanho_descomprimido)

        inicio += tamanho_extra + tamanho_comprimido     # pula para o próximo cabeçalho

## 11.4. Multi-threading

O uso de threads é uma técnica para desacoplar tarefas que não são sequencialmente dependentes. Threads podem ser usadas para melhorar o tempo de resposta de aplicações que aceitam entradas do usuário enquanto outras tarefas são executadas em segundo plano. Um caso relacionado é executar ações de entrada e saída (I/O) em uma thread paralelamente a cálculos em outra thread.

O código a seguir mostra como o módulo de alto nível `threading` pode executar tarefas em segundo plano enquanto o programa principal continua a sua execução:

    import threading, zipfile

    class AsyncZip(threading.Thread):
        def __init__(self, arquivo_entrada, arquivo_saida):
            threading.Thread.__init__(self)
            self.arquivo_entrada = arquivo_entrada
            self.arquivo_saida = arquivo_saida

        def run(self):
            arq = zipfile.ZipFile(self.arquivo_saida, 'w', zipfile.ZIP_DEFLATED)
            arq.write(self.)
            arq.close()
            print('Finalizou compactação em background de:', self.arquivo_entrada)

    background = AsyncZip('meusdados.txt', 'meuarquivo.zip')
    background.start()
    print('O programa original continua a executar em primeiro plano.')

    background.join()    # Aguarda a tarefa em background finalizar
    print('Programa principal aguardou até a tarefa em background estar finalizada.')

O principal desafio para as aplicações que usam múltiplas threads é coordenar as threads que compartilham dados ou outros recursos. Para esta finalidade, o módulo threading oferece alguns mecanismos primitivos de sincronização, como travas, eventos, variáveis de condição e semáforos.

Ainda que todas essas ferramentas sejam poderosas, pequenos erros de design podem resultar em problemas difíceis de serem diagnosticados. Por isso, a abordagem preferida para a coordenação da tarefa é concentrar todo o acesso a um recurso em um único tópico e, em seguida, usar o módulo `queue` para alimentar esse segmento com solicitações de outros tópicos. Aplicações que utilizam objetos `Queue` para comunicação e coordenação inter-thread são mais fáceis de serem projetados, mais legíveis e mais confiáveis.

## 11.5. Gerando logs

O módulo `logging` oferece um completo e flexível sistema de log. Da maneira mais simples, mensagens de log são enviadas para um arquivo ou para `sys.stderr`:

    import logging
    logging.debug('Depurando informações')
    logging.info('Mensagem informática')
    logging.warning('Alerta: arquivo de configuração  %s não encontrado', 'server.conf')
    logging.error('Ocorreu um erro')
    logging.critical('Erro crítico -- desligando')

Isso produz a seguinte saída:

    WARNING:root:Alerta:arquivo de configuração server.conf não encontrado
    ERROR:root:Ocorreu um erro
    CRITICAL:root:Erro crítico -- shutting down

Por padrão, mensagens informativas e de depuração são suprimidas e a saída é enviada para a saída de erros padrão (stderr). Outras opções de saída incluem envio de mensagens através de correio eletrônico, datagramas, sockets ou para um servidor HTTP. Novos filtros podem selecionar diferentes formas de envio de mensagens, baseadas na prioridade da mensagem: `DEBUG`, `INFO`, `WARNING`, `ERROR` e `CRITICAL`.

O sistema de log pode ser configurado diretamente do Python ou pode ser carregado a partir de um arquivo de configuração editável pelo usuário para logs personalizados sem a necessidade de alterar a aplicação.

## 11.6. Referências fracas

Python faz gerenciamento automático de memória (contagem de referências para a maioria dos objetos e coleta de lixo para eliminar ciclos). A memória ocupada por um objeto é liberada logo depois da última referência a ele ser eliminada.

Essa abordagem funciona bem para a maioria das aplicações, mas ocasionalmente surge a necessidade de rastrear objetos apenas enquanto estão sendo usados por algum outro. Infelizmente rastreá-los cria uma referência, e isso os fazem permanentes. O módulo `weakref` oferece ferramentas para rastrear objetos sem criar uma referência. Quando o objeto não é mais necessário, ele é automaticamente removido de uma tabela de referências fracas e uma chamada (callback) é disparada. Aplicações típicas incluem armazenamento em cache de objetos que são muito custosos para criar:

    >>> import weakref, gc
    >>> class A:
    ...     def __init__(self, valor):
    ...         self.valor = valor
    ...     def __repr__(self):
    ...         return str(self.valor)
    ...
    >>> a = A(10)                   # cria uma referência
    >>> d = weakref.WeakValueDictionary()
    >>> d['primaria'] = a            # não cria uma referência
    >>> d['primaria']                # busca o objeto se ele estiver ativo
    10
    >>> del a                       # remove a referência criada
    >>> gc.collect()                # roda imediatamente a coleta de lixo
    0
    >>> d['primaria']                # o acesso foi automaticamente removido
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
        d['primaria']                # o acesso foi automaticamente removido
      File "C:/python314/lib/weakref.py", line 46, in __getitem__
        o = self.data[key]()
    KeyError: 'primaria'

## 11.7. Ferramentas para trabalhar com listas

Muitas necessidades envolvendo estruturas de dados podem ser satisfeitas com o tipo embutido lista. Entretanto, algumas vezes há uma necessidade por implementações alternativas que sacrificam algumas facilidades em nome de melhor desempenho.

O módulo `array` oferece uma classe `array`, semelhante a uma lista, mas que armazena apenas dados homogêneos e de maneira mais compacta. O exemplo a seguir mostra um vetor de números armazenados como números binários de dois bytes sem sinal (código de tipo `"H"`) ao invés dos 16 bytes usuais para cada item em uma lista de `int`:

    >>> from array import array
    >>> a = array('H', [4000, 10, 700, 22222])
    >>> sum(a)
    26932
    >>> a[1:3]
    array('H', [10, 700])

O módulo `collections` oferece um objeto `deque` que comporta-se como uma lista mas com appends e pops pela esquerda mais rápidos, porém mais lento ao percorrer o meio da sequência. Esses objetos são adequados para implementar filas e buscas em amplitude em árvores de dados:

    >>> from collections import deque
    >>> d = deque(["tarefa1", "tarefa2", "tarefa3"])
    >>> d.append("tarefa4")
    >>> print("Tratando", d.popleft())
    Tratando tarefa1

    nao_pesquisada = deque([no_inicial])
    def busca_em_profundidade(nao_pesquisada):
        no = nao_pesquisada.popleft()
        for m in gen_moves(no):
            if eh_o_alvo(m):
                return m
            nao_pesquisada.append(m)

Além de implementações alternativas de listas, a biblioteca também oferece outras ferramentas como o módulo `bisect` com funções para manipulação de listas ordenadas:

    >>> import bisect
    >>> notas = [(100, 'perl'), (200, 'tcl'), (400, 'lua'), (500, 'python')]
    >>> bisect.insort(notas, (300, 'ruby'))
    >>> notas
    [(100, 'perl'), (200, 'tcl'), (300, 'ruby'), (400, 'lua'), (500, 'python')]

O módulo `heapq` oferece funções para implementação de heaps baseadas em listas normais. O valor mais baixo é sempre mantido na posição zero. Isso é útil para aplicações que acessam repetidamente o menor elemento, mas não querem reordenar a lista toda a cada acesso:

    >>> from heapq import heapify, heappop, heappush
    >>> dados = [1, 3, 5, 7, 9, 2, 4, 6, 8, 0]
    >>> heapify(dados)                      # reorganiza a lista como um heap
    >>> heappush(dados, -5)                 # adiciona o valor -5 ao heap
    >>> [heappop(dados) for i in range(3)]  # encontra as 3 menores entradas
    [-5, 0, 1]

## 11.8. Aritmética decimal com ponto flutuante

O módulo `decimal` oferece o tipo `Decimal` para aritmética decimal com ponto flutuante. Comparado a implementação embutida `float` que usa aritmética binária de ponto flutuante, a classe é especialmente útil para:

- aplicações financeiras que requerem representação decimal exata,

- controle sobre a precisão,

- controle sobre arredondamento para satisfazer requisitos legais,

- rastreamento de casas decimais significativas, ou

- aplicações onde o usuário espera que os resultados sejam os mesmos que os dos cálculos feitos à mão.

Por exemplo, calcular um imposto de 5% sobre uma chamada telefônica de 70 centavos devolve diferentes resultados com aritmética de ponto flutuante decimal ou binária. A diferença torna-se significativa se os resultados são arredondados para o centavo mais próximo:

    >>> from decimal import *
    >>> round(Decimal('0.70') * Decimal('1.05'), 2)
    Decimal('0.74')
    >>> round(.70 * 1.05, 2)
    0.73

O resultado de `Decimal` considera zeros à direita, automaticamente inferindo quatro casas decimais a partir de multiplicandos com duas casas decimais. O módulo Decimal reproduz a aritmética como fazemos à mão e evita problemas que podem ocorrer quando a representação binária do ponto flutuante não consegue representar quantidades decimais com exatidão.

A representação exata permite à classe `Decimal` executar cálculos de módulo e testes de igualdade que não funcionam bem em ponto flutuante binário:

    >>> Decimal('1.00') % Decimal('.10')
    Decimal('0.00')
    >>> 1.00 % 0.10
    0.09999999999999995

    >>> sum([Decimal('0.1')]*10) == Decimal('1.0')
    True
    >>> 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 + 0.1 == 1.0
    False

O módulo `decimal` implementa a aritmética com tanta precisão quanto necessária:

    >>> getcontext().prec = 36
    >>> Decimal(1) / Decimal(7)
    Decimal('0.142857142857142857142857142857142857')