token
— Constants used with Python parse trees¶
Вихідний код: Lib/token.py
This module provides constants which represent the numeric values of leaf nodes
of the parse tree (terminal tokens). Refer to the file Grammar/Grammar
in the Python distribution for the definitions of the names in the context of
the language grammar. The specific numeric values which the names map to may
change between Python versions.
Модуль також забезпечує відображення числових кодів імен і деяких функцій. Функції відображають визначення у файлах заголовків Python C.
-
token.
tok_name
¶ Словник відображає числові значення констант, визначених у цьому модулі, на рядки імен, що дозволяє створити більш зрозуміле для людини представлення дерев розбору.
-
token.
ISTERMINAL
(x)¶ Повертає
True
для значень термінальних маркерів.
-
token.
ISNONTERMINAL
(x)¶ Повертає
True
для нетермінальних значень токенів.
-
token.
ISEOF
(x)¶ Повертає
True
, якщо x є маркером кінця введення.
Константи маркера:
-
token.
ENDMARKER
¶
-
token.
NAME
¶
-
token.
NUMBER
¶
-
token.
STRING
¶
-
token.
NEWLINE
¶
-
token.
INDENT
¶
-
token.
DEDENT
¶
-
token.
LPAR
¶ Значення маркера для
"("
.
-
token.
RPAR
¶ Значення маркера для
)"
.
-
token.
LSQB
¶ Значення маркера для
"["
.
-
token.
RSQB
¶ Значення маркера для
"]"
.
-
token.
COLON
¶ Значення маркера для
":"
.
-
token.
COMMA
¶ Значення маркера для
","
.
-
token.
SEMI
¶ Значення маркера для
";"
.
-
token.
PLUS
¶ Значення маркера для
"+"
.
-
token.
MINUS
¶ Значення маркера для
"-"
.
-
token.
STAR
¶ Значення маркера для
"*"
.
-
token.
SLASH
¶ Значення маркера для
"/"
.
-
token.
VBAR
¶ Значення маркера для
"|"
.
-
token.
AMPER
¶ Значення маркера для
"&"
.
-
token.
LESS
¶ Значення маркера для
"<"
.
-
token.
GREATER
¶ Значення маркера для
">"
.
-
token.
EQUAL
¶ Значення маркера для
"="
.
-
token.
DOT
¶ Значення маркера для
"."
.
-
token.
PERCENT
¶ Значення маркера для
"%"
.
-
token.
LBRACE
¶ Значення маркера для
"{"
.
-
token.
RBRACE
¶ Значення маркера для
"}"
.
-
token.
EQEQUAL
¶ Значення маркера для
"=="
.
-
token.
NOTEQUAL
¶ Значення маркера для
"!="
.
-
token.
LESSEQUAL
¶ Значення маркера для
"<="
.
-
token.
GREATEREQUAL
¶ Значення маркера для
">="
.
-
token.
TILDE
¶ Значення маркера для
"~"
.
-
token.
CIRCUMFLEX
¶ Значення маркера для
"^"
.
-
token.
LEFTSHIFT
¶ Значення маркера для
"<<"
.
-
token.
RIGHTSHIFT
¶ Значення маркера для
">>"
.
-
token.
DOUBLESTAR
¶ Значення маркера для
"**"
.
-
token.
PLUSEQUAL
¶ Значення маркера для
"+="
.
-
token.
MINEQUAL
¶ Значення маркера для
"-="
.
-
token.
STAREQUAL
¶ Значення маркера для
"*="
.
-
token.
SLASHEQUAL
¶ Значення маркера для
"/="
.
-
token.
PERCENTEQUAL
¶ Значення маркера для
"%="
.
-
token.
AMPEREQUAL
¶ Значення маркера для
"&="
.
-
token.
VBAREQUAL
¶ Значення маркера для
"|="
.
-
token.
CIRCUMFLEXEQUAL
¶ Значення маркера для
"^="
.
-
token.
LEFTSHIFTEQUAL
¶ Значення маркера для
"<<="
.
-
token.
RIGHTSHIFTEQUAL
¶ Значення маркера для
">>="
.
-
token.
DOUBLESTAREQUAL
¶ Значення маркера для
"**="
.
-
token.
DOUBLESLASH
¶ Значення маркера для
"//"
.
-
token.
DOUBLESLASHEQUAL
¶ Значення маркера для
"//="
.
-
token.
AT
¶ Значення маркера для
"@"
.
-
token.
ATEQUAL
¶ Значення маркера для
"@="
.
-
token.
RARROW
¶ Значення маркера для
"->"
.
-
token.
ELLIPSIS
¶ Значення маркера для
"...."
.
-
token.
COLONEQUAL
¶ Значення маркера для
":="
.
-
token.
OP
¶
-
token.
AWAIT
¶
-
token.
ASYNC
¶
-
token.
TYPE_IGNORE
¶
-
token.
TYPE_COMMENT
¶
-
token.
ERRORTOKEN
¶
-
token.
N_TOKENS
¶
-
token.
NT_OFFSET
¶
Наступні значення типу маркера не використовуються токенізатором C, але потрібні для модуля tokenize
.
-
token.
COMMENT
¶ Значення маркера, що використовується для позначення коментаря.
-
token.
NL
¶ Значення маркера, яке використовується для вказівки незавершеного нового рядка. Маркер
NEWLINE
вказує на кінець логічного рядка коду Python; ТокениNL
генеруються, коли логічний рядок коду продовжується на кількох фізичних рядках.
-
token.
ENCODING
¶ Значення маркера, яке вказує на кодування, яке використовується для декодування вихідних байтів у текст. Перший маркер, який повертає
tokenize.tokenize()
, завжди буде маркеромENCODING
.
-
token.
TYPE_COMMENT
Token value indicating that a type comment was recognized. Such tokens are only produced when
ast.parse()
is invoked withtype_comments=True
.
Змінено в версії 3.7: Removed AWAIT
and ASYNC
tokens. «async» and «await» are
now tokenized as NAME
tokens.
Змінено в версії 3.8: Added TYPE_COMMENT
, TYPE_IGNORE
, COLONEQUAL
.
Added AWAIT
and ASYNC
tokens back (they’re needed
to support parsing older Python versions for ast.parse()
with
feature_version
set to 6 or lower).