# `token` --- Konstanta digunakan dengan pohon pengurai (parse tree) Python

Kode sumber: Lib/token.py

This module provides constants which represent the numeric values of leaf nodes of the parse tree (terminal tokens). Refer to the file `Grammar/Tokens` in the Python distribution for the definitions of the names in the context of the language grammar. The specific numeric values which the names map to may change between Python versions.

Modul ini juga menyediakan pemetaan dari kode numerik ke nama dan beberapa fungsi. Fungsi mencerminkan definisi pada file header Python C.

token.tok_name

  Kamus memetakan nilai numerik dari konstanta yang didefinisikan dalam modul ini kembali ke string nama, yang memungkinkan dihasilkannya representasi pohon parse yang lebih dapat dibaca oleh manusia.

token.ISTERMINAL(x)

  Kembalikan `True` untuk nilai-nilai token terminal (akhir).

token.ISNONTERMINAL(x)

  Kembalikan `True` untuk nilai-nilai token non-terminal.

token.ISEOF(x)

  Kembalikan nilai `True` jika x adalah penanda yang menunjukkan akhir input.

Konstanta token antara lain:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

  Nilai token untuk `"("`.

token.RPAR

  Nilai token untuk `")"`.

token.LSQB

  Nilai token untuk `"["`.

token.RSQB

  Nilai token untuk `"]"`.

token.COLON

  Nilai token untuk `":"`.

token.COMMA

  Nilai token untuk `","`.

token.SEMI

  Nilai token untuk `";"`.

token.PLUS

  Nilai token untuk `"+"`.

token.MINUS

  Nilai token untuk `"-"`.

token.STAR

  Nilai token untuk `"*"`.

token.SLASH

  Nilai token untuk `"/"`.

token.VBAR

  Nilai token untuk `"|"`.

token.AMPER

  Nilai token untuk `"&"`.

token.LESS

  Nilai token untuk `"<"`.

token.GREATER

  Nilai token untuk``">"``.

token.EQUAL

  Nilai token untuk `"="`.

token.DOT

  Nilai token untuk `"."`.

token.PERCENT

  Nilai token untuk `"%"`.

token.LBRACE

  Nilai token untuk `"{"`.

token.RBRACE

  Nilai token untuk `"}"`.

token.EQEQUAL

  Nilai token untuk `"=="`.

token.NOTEQUAL

  Nilai token untuk `"!="`.

token.LESSEQUAL

  Nilai token untuk `"<="`.

token.GREATEREQUAL

  Nilai token untuk `">="`.

token.TILDE

  Nilai token untuk `"~"`.

token.CIRCUMFLEX

  Nilai token untuk `"^"`.

token.LEFTSHIFT

  Nilai token untuk``"<<"``.

token.RIGHTSHIFT

  Nilai token untuk `">>"`.

token.DOUBLESTAR

  Nilai token untuk `"**"`.

token.PLUSEQUAL

  Nilai token untuk `"+="`.

token.MINEQUAL

  Nilai token untuk `"-="`.

token.STAREQUAL

  Nilai token untuk``"*="``.

token.SLASHEQUAL

  Nilai token untuk `"/="`.

token.PERCENTEQUAL

  Nilai token untuk `"%="`.

token.AMPEREQUAL

  Nilai token untuk `"&="`.

token.VBAREQUAL

  Nilai token untuk``"|="``.

token.CIRCUMFLEXEQUAL

  Nilai token untuk `"^="`.

token.LEFTSHIFTEQUAL

  Nilai token untuk``"<<="``.

token.RIGHTSHIFTEQUAL

  Nilai token untuk `">>="`.

token.DOUBLESTAREQUAL

  Nilai token untuk `"**="`.

token.DOUBLESLASH

  Nilai token untuk `"//"`.

token.DOUBLESLASHEQUAL

  Nilai token untuk `"//="`.

token.AT

  Nilai token untuk `"@"`.

token.ATEQUAL

  Nilai token untuk `"@="`.

token.RARROW

  Nilai token untuk `"->"`.

token.ELLIPSIS

  Nilai token untuk `"..."`.

token.COLONEQUAL

  Nilai token untuk `":="`.

token.OP

token.AWAIT

token.ASYNC

token.TYPE_IGNORE

token.TYPE_COMMENT

token.SOFT_KEYWORD

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

Nilai tipe token berikut tidak digunakan oleh penanda (tokenizer) C tetapi diperlukan untuk modul `tokenize`.

token.COMMENT

  Nilai token digunakan untuk menunjukkan komentar.

token.NL

  Nilai token digunakan untuk menunjukkan baris baru yang tidak berhenti. Token `NEWLINE` menunjukkan akhir baris logika kode Python; token `NL` dihasilkan ketika satu baris kode logis diteruskan melalui beberapa baris fisik.

token.ENCODING

  Nilai token yang menunjukkan pengodean yang digunakan untuk mendekode sumber byte menjadi teks. Token pertama yang dikembalikan oleh `tokenize.tokenize()` akan selalu menjadi token `ENCODING`.

token.TYPE_COMMENT

  Nilai token yang menunjukkan bahwa tipe komentar dikenali. Token tersebut hanya diproduksi ketika `ast.parse()` dipanggil dengan `type_comments=True`.

Berubah pada versi 3.5: Menambahkan token `AWAIT` dan `ASYNC`.

Berubah pada versi 3.7: Menambahkan token `COMMENT`, `NL` dan `ENCODING`.

Berubah pada versi 3.7: Menghapus token `AWAIT` dan `ASYNC`. "async" dan "await" sekarang ditandai sebagai token `NAME`.

Berubah pada versi 3.8: Menambahkan `TYPE_COMMENT`, `TYPE_IGNORE`, `COLONEQUAL`. Menambahkan kembali `AWAIT` dan `ASYNC` (mereka diperlukan untuk mendukung parsing versi Python lama untuk `ast.parse()` dengan `feature_version` diatur ke 6 atau lebih rendah).