"tokenize" --- Tokenizer for Python source
******************************************

**Código-fonte:** Lib/tokenize.py

======================================================================

O módulo "tokenize" fornece um scanner léxico para código-fonte
Python, implementado em Python. O scanner neste módulo retorna
comentários como tokens também, tornando-o útil para implementar
"pretty-printers", incluindo colorizadores para exibições na tela.

Para simplificar o tratamento do fluxo de tokens, todos os tokens
operadores e delimitadores e "Ellipsis" são retornados usando o tipo
de token genérico "OP". O tipo exato pode ser determinado verificando
a propriedade "exact_type" na *tupla nomeada* retornada de
"tokenize.tokenize()".

Aviso:

  Observe que as funções neste módulo são projetadas apenas para
  analisar código Python sintaticamente válido (código que não levanta
  exceção quando analisado usando "ast.parse()"). O comportamento das
  funções neste módulo é **indefinido** ao fornecer código Python
  inválido e pode mudar a qualquer momento.


Tokenizando entradas
====================

O ponto de entrada principal é um *gerador*:

tokenize.tokenize(readline)

   O gerador "tokenize()" requer um argumento, *readline*, que deve
   ser um objeto chamável que fornece a mesma interface que o método
   "io.IOBase.readline()" de objetos arquivo. Cada chamada para a
   função deve retornar uma linha de entrada como bytes.

   O gerador produz tuplas de 5 elementos com estes membros: o tipo de
   token; a string de token; uma tupla de 2 elementos "(srow, scol)"
   de ints especificando a linha e a coluna onde o token começa na
   fonte; uma tupla de 2 elementos "(erow, ecol)" de ints
   especificando a linha e a coluna onde o token termina na fonte; e a
   linha na qual o token foi encontrado. A linha passada (o último
   item da tupla) é a linha *física*. A tupla 5 elementos é retornada
   como uma *tupla nomeada* com os nomes dos campos: "tipo string
   início fim linha".

   A *tupla nomeada* retornada tem uma propriedade adicional chamada
   "exact_type" que contém o tipo exato do operador para tokens "OP".
   Para todos os outros tipos de token, "exact_type" é igual ao campo
   "type" da tupla nomeada.

   Alterado na versão 3.1: Adiciona suporte para tuplas nomeadas.

   Alterado na versão 3.3: Adicionado suporte para "exact_type".

   "tokenize()" determina a codificação de origem do arquivo
   procurando por um BOM UTF-8 ou cookie de codificação, de acordo com
   **PEP 263**.

tokenize.generate_tokens(readline)

   Tokeniza uma fonte lendo strings unicode em vez de bytes.

   Assim como "tokenize()", o argumento *readline* é um chamável que
   retorna uma única linha de entrada. No entanto, "generate_tokens()"
   espera que *readline* retorne um objeto str em vez de bytes.

   O resultado é um iterador produzindo tuplas nomeadas, exatamente
   como "tokenize()". Ele não produz um token "ENCODING".

Todas as constantes do módulo "token" também são exportadas de
"tokenize".

Outra função é fornecida para reverter o processo de tokenização. Isso
é útil para criar ferramentas que tokenizam um script, modificam o
fluxo de tokens e escrevem de volta o script modificado.

tokenize.untokenize(iterable)

   Converte tokens de volta para o código-fonte Python. O *iterable*
   deve retornar sequências com pelo menos dois elementos, o tipo de
   token e a string do token. Quaisquer elementos de sequência
   adicionais são ignorados.

   The reconstructed script is returned as a single string.  The
   result is guaranteed to tokenize back to match the input so that
   the conversion is lossless and round-trips are assured.  The
   guarantee applies only to the token type and token string as the
   spacing between tokens (column positions) may change.

   Retorna bytes, codificados usando o token "ENCODING", que é a
   primeira sequência de tokens gerada por "tokenize()". Se não houver
   nenhum token de codificação na entrada, ele retorna um str em vez
   disso.

"tokenize()" precisa detectar a codificação dos arquivos fonte que ele
tokeniza. A função que ele usa para fazer isso está disponível:

tokenize.detect_encoding(readline)

   A função "detect_encoding()" é usada para detectar a codificação
   que deve ser usada para decodificar um arquivo de origem Python.
   Ela requer um argumento, readline, da mesma forma que o gerador
   "tokenize()".

   Ele chamará readline no máximo duas vezes e retornará a codificação
   usada (como uma string) e uma lista de todas as linhas (não
   decodificadas de bytes) que ele leu.

   Ele detecta a codificação a partir da presença de um BOM UTF-8 ou
   um cookie de codificação conforme especificado em **PEP 263**. Se
   um BOM e um cookie estiverem presentes, mas discordarem, uma
   exceção "SyntaxError" será levantada. Observe que se o BOM for
   encontrado, "'utf-8-sig'" será retornado como uma codificação.

   Se nenhuma codificação for especificada, o padrão "'utf-8'" será
   retornado.

   Use "open()" para abrir arquivos de código-fonte Python: ele usa
   "detect_encoding()" para detectar a codificação do arquivo.

tokenize.open(filename)

   Abre um arquivo no modo somente leitura usando a codificação
   detectada por "detect_encoding()".

   Novo na versão 3.2.

exception tokenize.TokenError

   Levantada quando uma docstring ou expressão que pode ser dividida
   em várias linhas não é concluída em nenhum lugar do arquivo, por
   exemplo:

      """Beginning of
      docstring

   ou:

      [1,
       2,
       3

Note that unclosed single-quoted strings do not cause an error to be
raised. They are tokenized as "ERRORTOKEN", followed by the
tokenization of their contents.


Uso na linha de comando
=======================

Novo na versão 3.3.

O módulo "tokenize" pode ser executado como um script a partir da
linha de comando. É tão simples quanto:

   python -m tokenize [-e] [filename.py]

As seguintes opções são aceitas:

-h, --help

   mostra esta mensagem de ajuda e sai

-e, --exact

   exibe nomes de tokens usando o tipo exato

Se "nome-de-arquivo.py" for especificado, seu conteúdo será tokenizado
para stdout. Caso contrário, a tokenização será realizada em stdin.


Exemplos
========

Exemplo de um reescritor de script que transforma literais float em
objetos Decimal:

   from tokenize import tokenize, untokenize, NUMBER, STRING, NAME, OP
   from io import BytesIO

   def decistmt(s):
       """Substitute Decimals for floats in a string of statements.

       >>> from decimal import Decimal
       >>> s = 'print(+21.3e-5*-.1234/81.7)'
       >>> decistmt(s)
       "print (+Decimal ('21.3e-5')*-Decimal ('.1234')/Decimal ('81.7'))"

       The format of the exponent is inherited from the platform C library.
       Known cases are "e-007" (Windows) and "e-07" (not Windows).  Since
       we're only showing 12 digits, and the 13th isn't close to 5, the
       rest of the output should be platform-independent.

       >>> exec(s)  #doctest: +ELLIPSIS
       -3.21716034272e-0...7

       Output from calculations with Decimal should be identical across all
       platforms.

       >>> exec(decistmt(s))
       -3.217160342717258261933904529E-7
       """
       result = []
       g = tokenize(BytesIO(s.encode('utf-8')).readline)  # tokenize the string
       for toknum, tokval, _, _, _ in g:
           if toknum == NUMBER and '.' in tokval:  # replace NUMBER tokens
               result.extend([
                   (NAME, 'Decimal'),
                   (OP, '('),
                   (STRING, repr(tokval)),
                   (OP, ')')
               ])
           else:
               result.append((toknum, tokval))
       return untokenize(result).decode('utf-8')

Exemplo de tokenização a partir da linha de comando. O script:

   def say_hello():
       print("Hello, World!")

   say_hello()

será tokenizado para a seguinte saída, onde a primeira coluna é o
intervalo das coordenadas da linha/coluna onde o token é encontrado, a
segunda coluna é o nome do token e a coluna final é o valor do token
(se houver)

   $ python -m tokenize hello.py
   0,0-0,0:            ENCODING       'utf-8'
   1,0-1,3:            NAME           'def'
   1,4-1,13:           NAME           'say_hello'
   1,13-1,14:          OP             '('
   1,14-1,15:          OP             ')'
   1,15-1,16:          OP             ':'
   1,16-1,17:          NEWLINE        '\n'
   2,0-2,4:            INDENT         '    '
   2,4-2,9:            NAME           'print'
   2,9-2,10:           OP             '('
   2,10-2,25:          STRING         '"Hello, World!"'
   2,25-2,26:          OP             ')'
   2,26-2,27:          NEWLINE        '\n'
   3,0-3,1:            NL             '\n'
   4,0-4,0:            DEDENT         ''
   4,0-4,9:            NAME           'say_hello'
   4,9-4,10:           OP             '('
   4,10-4,11:          OP             ')'
   4,11-4,12:          NEWLINE        '\n'
   5,0-5,0:            ENDMARKER      ''

Os nomes exatos dos tipos de token podem ser exibidos usando a opção
"-e":

   $ python -m tokenize -e hello.py
   0,0-0,0:            ENCODING       'utf-8'
   1,0-1,3:            NAME           'def'
   1,4-1,13:           NAME           'say_hello'
   1,13-1,14:          LPAR           '('
   1,14-1,15:          RPAR           ')'
   1,15-1,16:          COLON          ':'
   1,16-1,17:          NEWLINE        '\n'
   2,0-2,4:            INDENT         '    '
   2,4-2,9:            NAME           'print'
   2,9-2,10:           LPAR           '('
   2,10-2,25:          STRING         '"Hello, World!"'
   2,25-2,26:          RPAR           ')'
   2,26-2,27:          NEWLINE        '\n'
   3,0-3,1:            NL             '\n'
   4,0-4,0:            DEDENT         ''
   4,0-4,9:            NAME           'say_hello'
   4,9-4,10:           LPAR           '('
   4,10-4,11:          RPAR           ')'
   4,11-4,12:          NEWLINE        '\n'
   5,0-5,0:            ENDMARKER      ''

Exemplo de tokenização de um arquivo programaticamente, lendo strings
unicode em vez de bytes com "generate_tokens()":

   import tokenize

   with tokenize.open('hello.py') as f:
       tokens = tokenize.generate_tokens(f.readline)
       for token in tokens:
           print(token)

Ou lendo bytes diretamente com "tokenize()":

   import tokenize

   with open('hello.py', 'rb') as f:
       tokens = tokenize.tokenize(f.readline)
       for token in tokens:
           print(token)
