token — Constants used with Python parse trees

Вихідний код: Lib/token.py

---

This module provides constants which represent the numeric values of leaf nodes of the parse tree (terminal tokens). Refer to the file Grammar/Grammar in the Python distribution for the definitions of the names in the context of the language grammar. The specific numeric values which the names map to may change between Python versions.

Модуль також забезпечує відображення числових кодів імен і деяких функцій. Функції відображають визначення у файлах заголовків Python C.

token.tok_name

Словник відображає числові значення констант, визначених у цьому модулі, на рядки імен, що дозволяє створити більш зрозуміле для людини представлення дерев розбору.

token.ISTERMINAL(x)

Повертає True для значень термінальних маркерів.

token.ISNONTERMINAL(x)

Повертає True для нетермінальних значень токенів.

token.ISEOF(x)

Повертає True, якщо x є маркером кінця введення.

Константи маркера:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

Значення маркера для "(".

token.RPAR

Значення маркера для )".

token.LSQB

Значення маркера для "[".

token.RSQB

Значення маркера для "]".

token.COLON

Значення маркера для ":".

token.COMMA

Значення маркера для ",".

token.SEMI

Значення маркера для ";".

token.PLUS

Значення маркера для "+".

token.MINUS

Значення маркера для "-".

token.STAR

Значення маркера для "*".

token.SLASH

Значення маркера для "/".

token.VBAR

Значення маркера для "|".

token.AMPER

Значення маркера для "&".

token.LESS

Значення маркера для "<".

token.GREATER

Значення маркера для ">".

token.EQUAL

Значення маркера для "=".

token.DOT

Значення маркера для ".".

token.PERCENT

Значення маркера для "%".

token.LBRACE

Значення маркера для "{".

token.RBRACE

Значення маркера для "}".

token.EQEQUAL

Значення маркера для "==".

token.NOTEQUAL

Значення маркера для "!=".

token.LESSEQUAL

Значення маркера для "<=".

token.GREATEREQUAL

Значення маркера для ">=".

token.TILDE

Значення маркера для "~".

token.CIRCUMFLEX

Значення маркера для "^".

token.LEFTSHIFT

Значення маркера для "<<".

token.RIGHTSHIFT

Значення маркера для ">>".

token.DOUBLESTAR

Значення маркера для "**".

token.PLUSEQUAL

Значення маркера для "+=".

token.MINEQUAL

Значення маркера для "-=".

token.STAREQUAL

Значення маркера для "*=".

token.SLASHEQUAL

Значення маркера для "/=".

token.PERCENTEQUAL

Значення маркера для "%=".

token.AMPEREQUAL

Значення маркера для "&=".

token.VBAREQUAL

Значення маркера для "|=".

token.CIRCUMFLEXEQUAL

Значення маркера для "^=".

token.LEFTSHIFTEQUAL

Значення маркера для "<<=".

token.RIGHTSHIFTEQUAL

Значення маркера для ">>=".

token.DOUBLESTAREQUAL

Значення маркера для "**=".

token.DOUBLESLASH

Значення маркера для "//".

token.DOUBLESLASHEQUAL

Значення маркера для "//=".

token.AT

Значення маркера для "@".

token.ATEQUAL

Значення маркера для "@=".

token.RARROW

Значення маркера для "->".

token.ELLIPSIS

Значення маркера для "....".

token.COLONEQUAL

Значення маркера для ":=".

token.OP

token.AWAIT

token.ASYNC

token.TYPE_IGNORE

token.TYPE_COMMENT

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

Наступні значення типу маркера не використовуються токенізатором C, але потрібні для модуля tokenize.

token.COMMENT

Значення маркера, що використовується для позначення коментаря.

token.NL

Значення маркера, яке використовується для вказівки незавершеного нового рядка. Маркер NEWLINE вказує на кінець логічного рядка коду Python; Токени NL генеруються, коли логічний рядок коду продовжується на кількох фізичних рядках.

token.ENCODING

Значення маркера, яке вказує на кодування, яке використовується для декодування вихідних байтів у текст. Перший маркер, який повертає tokenize.tokenize(), завжди буде маркером ENCODING.

token.TYPE_COMMENT

Token value indicating that a type comment was recognized. Such tokens are only produced when ast.parse() is invoked with type_comments=True.

Змінено в версії 3.5: Added AWAIT and ASYNC tokens.

Змінено в версії 3.7: Додано маркери COMMENT, NL і ENCODING.

Змінено в версії 3.7: Removed AWAIT and ASYNC tokens. «async» and «await» are now tokenized as NAME tokens.

Змінено в версії 3.8: Added TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL. Added AWAIT and ASYNC tokens back (they’re needed to support parsing older Python versions for ast.parse() with feature_version set to 6 or lower).