token --- Constants used with Python parse trees

Kode sumber: Lib/token.py

This module provides constants which represent the numeric values of leaf nodes of the parse tree (terminal tokens). Refer to the file Grammar/Tokens in the Python distribution for the definitions of the names in the context of the language grammar. The specific numeric values which the names map to may change between Python versions.

Modul ini juga menyediakan pemetaan dari kode numerik ke nama dan beberapa fungsi. Fungsi mencerminkan definisi pada file header Python C.

token.tok_name

Kamus memetakan nilai numerik dari konstanta yang didefinisikan dalam modul ini kembali ke string nama, yang memungkinkan dihasilkannya representasi pohon parse yang lebih dapat dibaca oleh manusia.

token.ISTERMINAL(x)

Kembalikan True untuk nilai-nilai token terminal (akhir).

token.ISNONTERMINAL(x)

Kembalikan True untuk nilai-nilai token non-terminal.

token.ISEOF(x)

Kembalikan nilai True jika x adalah penanda yang menunjukkan akhir input.

Konstanta token antara lain:

token.ENDMARKER
token.NAME
token.NUMBER
token.STRING
token.NEWLINE
token.INDENT
token.DEDENT
token.LPAR

Nilai token untuk "(".

token.RPAR

Nilai token untuk ")".

token.LSQB

Nilai token untuk "[".

token.RSQB

Nilai token untuk "]".

token.COLON

Nilai token untuk ":".

token.COMMA

Nilai token untuk ",".

token.SEMI

Nilai token untuk ";".

token.PLUS

Nilai token untuk "+".

token.MINUS

Nilai token untuk "-".

token.STAR

Nilai token untuk "*".

token.SLASH

Nilai token untuk "/".

token.VBAR

Nilai token untuk "|".

token.AMPER

Nilai token untuk "&".

token.LESS

Nilai token untuk "<".

token.GREATER

Nilai token untuk``">"``.

token.EQUAL

Nilai token untuk "=".

token.DOT

Nilai token untuk ".".

token.PERCENT

Nilai token untuk "%".

token.LBRACE

Nilai token untuk "{".

token.RBRACE

Nilai token untuk "}".

token.EQEQUAL

Nilai token untuk "==".

token.NOTEQUAL

Nilai token untuk "!=".

token.LESSEQUAL

Nilai token untuk "<=".

token.GREATEREQUAL

Nilai token untuk ">=".

token.TILDE

Nilai token untuk "~".

token.CIRCUMFLEX

Nilai token untuk "^".

token.LEFTSHIFT

Nilai token untuk``"<<"``.

token.RIGHTSHIFT

Nilai token untuk ">>".

token.DOUBLESTAR

Nilai token untuk "**".

token.PLUSEQUAL

Nilai token untuk "+=".

token.MINEQUAL

Nilai token untuk "-=".

token.STAREQUAL

Nilai token untuk``"*="``.

token.SLASHEQUAL

Nilai token untuk "/=".

token.PERCENTEQUAL

Nilai token untuk "%=".

token.AMPEREQUAL

Nilai token untuk "&=".

token.VBAREQUAL

Nilai token untuk``"|="``.

token.CIRCUMFLEXEQUAL

Nilai token untuk "^=".

token.LEFTSHIFTEQUAL

Nilai token untuk``"<<="``.

token.RIGHTSHIFTEQUAL

Nilai token untuk ">>=".

token.DOUBLESTAREQUAL

Nilai token untuk "**=".

token.DOUBLESLASH

Nilai token untuk "//".

token.DOUBLESLASHEQUAL

Nilai token untuk "//=".

token.AT

Nilai token untuk "@".

token.ATEQUAL

Nilai token untuk "@=".

token.RARROW

Nilai token untuk "->".

token.ELLIPSIS

Nilai token untuk "...".

token.COLONEQUAL

Nilai token untuk ":=".

token.EXCLAMATION

Token value for "!".

token.OP
token.TYPE_IGNORE
token.TYPE_COMMENT
token.SOFT_KEYWORD
token.FSTRING_START
token.FSTRING_MIDDLE
token.FSTRING_END
token.COMMENT
token.NL
token.ERRORTOKEN
token.N_TOKENS
token.NT_OFFSET

Nilai tipe token berikut tidak digunakan oleh penanda (tokenizer) C tetapi diperlukan untuk modul tokenize.

token.COMMENT

Nilai token digunakan untuk menunjukkan komentar.

token.NL

Nilai token digunakan untuk menunjukkan baris baru yang tidak berhenti. Token NEWLINE menunjukkan akhir baris logika kode Python; token NL dihasilkan ketika satu baris kode logis diteruskan melalui beberapa baris fisik.

token.ENCODING

Nilai token yang menunjukkan pengodean yang digunakan untuk mendekode sumber byte menjadi teks. Token pertama yang dikembalikan oleh tokenize.tokenize() akan selalu menjadi token ENCODING.

token.TYPE_COMMENT

Token value indicating that a type comment was recognized. Such tokens are only produced when ast.parse() is invoked with type_comments=True.

Berubah pada versi 3.5: Added AWAIT and ASYNC tokens.

Berubah pada versi 3.7: Menambahkan token COMMENT, NL dan ENCODING.

Berubah pada versi 3.7: Removed AWAIT and ASYNC tokens. "async" and "await" are now tokenized as NAME tokens.

Berubah pada versi 3.8: Added TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL. Added AWAIT and ASYNC tokens back (they're needed to support parsing older Python versions for ast.parse() with feature_version set to 6 or lower).

Berubah pada versi 3.13: Removed AWAIT and ASYNC tokens again.