token — Constants used with Python parse trees

Вихідний код: Lib/token.py

Цей модуль надає константи, які представляють числові значення листових вузлів дерева розбору (термінальні маркери). Зверніться до файлу Grammar/Tokens у дистрибутиві Python для визначення імен у контексті граматики мови. Конкретні числові значення, на які зіставляються імена, можуть змінюватися між версіями Python.

Модуль також забезпечує відображення числових кодів імен і деяких функцій. Функції відображають визначення у файлах заголовків Python C.

token.tok_name

Словник відображає числові значення констант, визначених у цьому модулі, на рядки імен, що дозволяє створити більш зрозуміле для людини представлення дерев розбору.

token.ISTERMINAL(x)

Повертає True для значень термінальних маркерів.

token.ISNONTERMINAL(x)

Повертає True для нетермінальних значень токенів.

token.ISEOF(x)

Повертає True, якщо x є маркером кінця введення.

Константи маркера:

token.ENDMARKER
token.NAME
token.NUMBER
token.STRING
token.NEWLINE
token.INDENT
token.DEDENT
token.LPAR

Значення маркера для "(".

token.RPAR

Значення маркера для )".

token.LSQB

Значення маркера для "[".

token.RSQB

Значення маркера для "]".

token.COLON

Значення маркера для ":".

token.COMMA

Значення маркера для ",".

token.SEMI

Значення маркера для ";".

token.PLUS

Значення маркера для "+".

token.MINUS

Значення маркера для "-".

token.STAR

Значення маркера для "*".

token.SLASH

Значення маркера для "/".

token.VBAR

Значення маркера для "|".

token.AMPER

Значення маркера для "&".

token.LESS

Значення маркера для "<".

token.GREATER

Значення маркера для ">".

token.EQUAL

Значення маркера для "=".

token.DOT

Значення маркера для ".".

token.PERCENT

Значення маркера для "%".

token.LBRACE

Значення маркера для "{".

token.RBRACE

Значення маркера для "}".

token.EQEQUAL

Значення маркера для "==".

token.NOTEQUAL

Значення маркера для "!=".

token.LESSEQUAL

Значення маркера для "<=".

token.GREATEREQUAL

Значення маркера для ">=".

token.TILDE

Значення маркера для "~".

token.CIRCUMFLEX

Значення маркера для "^".

token.LEFTSHIFT

Значення маркера для "<<".

token.RIGHTSHIFT

Значення маркера для ">>".

token.DOUBLESTAR

Значення маркера для "**".

token.PLUSEQUAL

Значення маркера для "+=".

token.MINEQUAL

Значення маркера для "-=".

token.STAREQUAL

Значення маркера для "*=".

token.SLASHEQUAL

Значення маркера для "/=".

token.PERCENTEQUAL

Значення маркера для "%=".

token.AMPEREQUAL

Значення маркера для "&=".

token.VBAREQUAL

Значення маркера для "|=".

token.CIRCUMFLEXEQUAL

Значення маркера для "^=".

token.LEFTSHIFTEQUAL

Значення маркера для "<<=".

token.RIGHTSHIFTEQUAL

Значення маркера для ">>=".

token.DOUBLESTAREQUAL

Значення маркера для "**=".

token.DOUBLESLASH

Значення маркера для "//".

token.DOUBLESLASHEQUAL

Значення маркера для "//=".

token.AT

Значення маркера для "@".

token.ATEQUAL

Значення маркера для "@=".

token.RARROW

Значення маркера для "->".

token.ELLIPSIS

Значення маркера для "....".

token.COLONEQUAL

Значення маркера для ":=".

token.EXCLAMATION

Token value for "!".

token.OP
token.TYPE_IGNORE
token.TYPE_COMMENT
token.SOFT_KEYWORD
token.FSTRING_START
token.FSTRING_MIDDLE
token.FSTRING_END
token.COMMENT
token.NL
token.ERRORTOKEN
token.N_TOKENS
token.NT_OFFSET

Наступні значення типу маркера не використовуються токенізатором C, але потрібні для модуля tokenize.

token.COMMENT

Значення маркера, що використовується для позначення коментаря.

token.NL

Значення маркера, яке використовується для вказівки незавершеного нового рядка. Маркер NEWLINE вказує на кінець логічного рядка коду Python; Токени NL генеруються, коли логічний рядок коду продовжується на кількох фізичних рядках.

token.ENCODING

Значення маркера, яке вказує на кодування, яке використовується для декодування вихідних байтів у текст. Перший маркер, який повертає tokenize.tokenize(), завжди буде маркером ENCODING.

token.TYPE_COMMENT

Token value indicating that a type comment was recognized. Such tokens are only produced when ast.parse() is invoked with type_comments=True.

token.EXACT_TOKEN_TYPES

A dictionary mapping the string representation of a token to its numeric code.

Added in version 3.8.

Змінено в версії 3.5: Added AWAIT and ASYNC tokens.

Змінено в версії 3.7: Додано маркери COMMENT, NL і ENCODING.

Змінено в версії 3.7: Removed AWAIT and ASYNC tokens. «async» and «await» are now tokenized as NAME tokens.

Змінено в версії 3.8: Added TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL. Added AWAIT and ASYNC tokens back (they’re needed to support parsing older Python versions for ast.parse() with feature_version set to 6 or lower).

Змінено в версії 3.13: Removed AWAIT and ASYNC tokens again.