token
— Constantes usadas con árboles de sintaxis de Python¶
Código fuente: Lib/token.py
Este módulo provee constantes que representan los valores numéricos de nodos hoja de un árbol de sintaxis (tokens terminales). Referirse al archivo Grammar/Grammar
en la distribución de Python para las definiciones de los nombres en el contexto de gramática del lenguaje. Los valores numéricos específicos a los que los nombres mapean pueden cambiar entre versiones de Python.
El módulo también proporciona un mapeo de códigos numéricos a nombres y algunas funciones. Las funciones asemejan definiciones en los archivos Python C encabezados.
-
token.
tok_name
¶ Diccionario que mapea los valores numéricos de las constantes definidas en este módulo a cadenas de nombres, permitiendo una representación de árboles de sintaxis a ser generados más legible para humanos.
-
token.
ISTERMINAL
(x)¶ Retorna
True
para valores token terminales.
-
token.
ISNONTERMINAL
(x)¶ Retorna
True
para valores token no terminales.
-
token.
ISEOF
(x)¶ Retorna
True
si x es el marcador indicando el final del input.
Las constantes de token son:
-
token.
ENDMARKER
¶
-
token.
NAME
¶
-
token.
NUMBER
¶
-
token.
STRING
¶
-
token.
NEWLINE
¶
-
token.
INDENT
¶
-
token.
DEDENT
¶
-
token.
LPAR
¶ Valor token para
"("
.
-
token.
RPAR
¶ Valor token para
")"
.
-
token.
LSQB
¶ Valor token para
"["
.
-
token.
RSQB
¶ Valor token para
"]"
.
-
token.
COLON
¶ Valor token para
":"
.
-
token.
COMMA
¶ Valor token para
","
.
-
token.
SEMI
¶ Valor token para
";"
.
-
token.
PLUS
¶ Valor token para
"+"
.
-
token.
MINUS
¶ Valor token para
"-"
.
-
token.
STAR
¶ Valor token para
"*"
.
-
token.
SLASH
¶ Valor token para
"/"
.
-
token.
VBAR
¶ Valor token para
"|"
.
-
token.
AMPER
¶ Valor token para
"&"
.
-
token.
LESS
¶ Valor token para
"<"
.
-
token.
GREATER
¶ Valor token para
">"
.
-
token.
EQUAL
¶ Valor token para
"="
.
-
token.
DOT
¶ Valor token para
"."
.
-
token.
PERCENT
¶ Valor token para
"%"
.
-
token.
LBRACE
¶ Valor token para
"{"
.
-
token.
RBRACE
¶ Valor token para
"}"
.
-
token.
EQEQUAL
¶ Valor token para
"=="
.
-
token.
NOTEQUAL
¶ Valor token para
"!="
.
-
token.
LESSEQUAL
¶ Valor token para
"<="
.
-
token.
GREATEREQUAL
¶ Valor token para
">="
.
-
token.
TILDE
¶ Valor token para
"~"
.
-
token.
CIRCUMFLEX
¶ Valor token para
"^"
.
-
token.
LEFTSHIFT
¶ Valor token para
"<<"
.
-
token.
RIGHTSHIFT
¶ Valor token para
">>"
.
-
token.
DOUBLESTAR
¶ Valor token para
"**"
.
-
token.
PLUSEQUAL
¶ Valor token para
"+="
.
-
token.
MINEQUAL
¶ Valor token para
"-="
.
-
token.
STAREQUAL
¶ Valor token para
"*="
.
-
token.
SLASHEQUAL
¶ Valor token para
"/="
.
-
token.
PERCENTEQUAL
¶ Valor token para
"%="
.
-
token.
AMPEREQUAL
¶ Valor token para
"&="
.
-
token.
VBAREQUAL
¶ Valor token para
"|="
.
-
token.
CIRCUMFLEXEQUAL
¶ Valor token para
"^="
.
-
token.
LEFTSHIFTEQUAL
¶ Valor token para
"<<="
.
-
token.
RIGHTSHIFTEQUAL
¶ Valor token para
">>="
.
-
token.
DOUBLESTAREQUAL
¶ Valor token para
"**="
.
-
token.
DOUBLESLASH
¶ Valor token para
"//"
.
-
token.
DOUBLESLASHEQUAL
¶ Valor token para
"//="
.
-
token.
AT
¶ Valor token para
"@"
.
-
token.
ATEQUAL
¶ Valor token para
"@="
.
-
token.
RARROW
¶ Valor token para
"->"
.
-
token.
ELLIPSIS
¶ Valor token para
"..."
.
-
token.
COLONEQUAL
¶ Valor token para
":="
.
-
token.
OP
¶
-
token.
AWAIT
¶
-
token.
ASYNC
¶
-
token.
TYPE_IGNORE
¶
-
token.
TYPE_COMMENT
¶
-
token.
ERRORTOKEN
¶
-
token.
N_TOKENS
¶
-
token.
NT_OFFSET
¶
Los siguientes tipos de valores tokens no son usados por el tokenizador C pero son necesarios para el modulo tokenizador
.
-
token.
COMMENT
¶ Valores token usados para indicar un comentario.
-
token.
NL
¶ Valor token usado para indicar una nueva línea no terminante. El token
NEWLINE
indica el final de una línea lógica de código Python; los tokensNL
son generados cuando una línea lógica de código es continuada sobre múltiples líneas físicas.
-
token.
ENCODING
¶ Valor de token que indica la codificación usada para decodificar los bytes de origen en texto. El primer token retornado por
tokenize.tokenize()
siempre será un tokenENCODING
.
-
token.
TYPE_COMMENT
Valor token indicando que un tipo comentario fue reconocido. Dichos tokens solo son producidos cuando
ast.parse()
es invocado contype_comments=True
.
Distinto en la versión 3.7: Removidos los tokens AWAIT
y ASYNC
. «async» y «await» son ahora tokenizados como NAME
tokens.
Distinto en la versión 3.8: Agregados TYPE_COMMENT
, TYPE_IGNORE
, COLONEQUAL
. Agregados de regreso los tokens AWAIT
y ASYNC
(son necesarios para dar soporte en la sintaxis de versiones más antiguas de Python para ast.parse()
con feature_version
establecido a 6 o menor).