"token"--- Constantes usadas con árboles de sintaxis de Python
**************************************************************

**Código fuente:** Lib/token.py

======================================================================

Este módulo provee constantes que representan los valores numéricos de
nodos hoja de un árbol de sintaxis (tokens terminales). Referirse al
archivo "Grammar/Grammar" en la distribución de Python para las
definiciones de los nombres en el contexto de gramática del lenguaje.
Los valores numéricos específicos a los que los nombres mapean pueden
cambiar entre versiones de Python.

El módulo también proporciona un mapeo de códigos numéricos a nombres
y algunas funciones.  Las funciones asemejan definiciones en los
archivos Python C encabezados.

token.tok_name

   Diccionario que mapea los valores numéricos de las constantes
   definidas en este módulo a cadenas de nombres, permitiendo una
   representación de árboles de sintaxis a ser generados más legible
   para humanos.

token.ISTERMINAL(x)

   Retorna "True" para valores token terminales.

token.ISNONTERMINAL(x)

   Retorna "True" para valores token no terminales.

token.ISEOF(x)

   Retorna "True" si *x* es el marcador indicando el final del input.

Las constantes de token son:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

   Valor token para ""("".

token.RPAR

   Valor token para "")"".

token.LSQB

   Valor token para ""["".

token.RSQB

   Valor token para ""]"".

token.COLON

   Valor token para "":"".

token.COMMA

   Valor token para "","".

token.SEMI

   Valor token para "";"".

token.PLUS

   Valor token para ""+"".

token.MINUS

   Valor token para ""-"".

token.STAR

   Valor token para ""*"".

token.SLASH

   Valor token para ""/"".

token.VBAR

   Valor token para ""|"".

token.AMPER

   Valor token para ""&"".

token.LESS

   Valor token para ""<"".

token.GREATER

   Valor token para "">"".

token.EQUAL

   Valor token para ""="".

token.DOT

   Valor token para ""."".

token.PERCENT

   Valor token para ""%"".

token.LBRACE

   Valor token para ""{"".

token.RBRACE

   Valor token para ""}"".

token.EQEQUAL

   Valor token para ""=="".

token.NOTEQUAL

   Valor token para ""!="".

token.LESSEQUAL

   Valor token para ""<="".

token.GREATEREQUAL

   Valor token para "">="".

token.TILDE

   Valor token para ""~"".

token.CIRCUMFLEX

   Valor token para ""^"".

token.LEFTSHIFT

   Valor token para ""<<"".

token.RIGHTSHIFT

   Valor token para "">>"".

token.DOUBLESTAR

   Valor token para ""**"".

token.PLUSEQUAL

   Valor token para ""+="".

token.MINEQUAL

   Valor token para ""-="".

token.STAREQUAL

   Valor token para ""*="".

token.SLASHEQUAL

   Valor token para ""/="".

token.PERCENTEQUAL

   Valor token para ""%="".

token.AMPEREQUAL

   Valor token para ""&="".

token.VBAREQUAL

   Valor token para ""|="".

token.CIRCUMFLEXEQUAL

   Valor token para ""^="".

token.LEFTSHIFTEQUAL

   Valor token para ""<<="".

token.RIGHTSHIFTEQUAL

   Valor token para "">>="".

token.DOUBLESTAREQUAL

   Valor token para ""**="".

token.DOUBLESLASH

   Valor token para ""//"".

token.DOUBLESLASHEQUAL

   Valor token para ""//="".

token.AT

   Valor token para ""@"".

token.ATEQUAL

   Valor token para ""@="".

token.RARROW

   Valor token para ""->"".

token.ELLIPSIS

   Valor token para ""..."".

token.COLONEQUAL

   Valor token para "":="".

token.OP

token.AWAIT

token.ASYNC

token.TYPE_IGNORE

token.TYPE_COMMENT

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

Los siguientes tipos de valores tokens no son usados por el
tokenizador C pero son necesarios para el modulo "tokenizador".

token.COMMENT

   Valores token usados para indicar un comentario.

token.NL

   Valor token usado para indicar una nueva línea no terminante.  El
   token "NEWLINE" indica el final de una línea lógica de código
   Python; los tokens "NL" son generados cuando una línea lógica de
   código es continuada sobre múltiples líneas físicas.

token.ENCODING

   Valor de token que indica la codificación usada para decodificar
   los bytes de origen en texto. El primer token retornado por
   "tokenize.tokenize()" siempre será un token "ENCODING".

token.TYPE_COMMENT

   Valor token indicando que un tipo comentario fue reconocido.
   Dichos tokens solo son producidos cuando "ast.parse()" es invocado
   con "type_comments=True".

Distinto en la versión 3.5: Agregados los tokens "AWAIT" y "ASYNC".

Distinto en la versión 3.7: Agregados los tokens "COMMENT", "NL" y
"ENCODING".

Distinto en la versión 3.7: Removidos los tokens "AWAIT" y "ASYNC".
"async" y "await" son ahora tokenizados como "NAME" tokens.

Distinto en la versión 3.8: Agregados "TYPE_COMMENT", "TYPE_IGNORE",
"COLONEQUAL". Agregados de regreso los tokens "AWAIT" y "ASYNC" (son
necesarios para dar soporte en la sintaxis de versiones más antiguas
de Python para "ast.parse()" con "feature_version" establecido a 6 o
menor).
