# `token` --- Konstanta digunakan dengan pohon pengurai (parse tree) Python

Kode sumber: Lib/token.py

This module provides constants which represent the numeric values of leaf nodes of the parse tree (terminal tokens). Refer to the file `Grammar/Tokens` in the Python distribution for the definitions of the names in the context of the language grammar. The specific numeric values which the names map to may change between Python versions.

Modul ini juga menyediakan pemetaan dari kode numerik ke nama dan beberapa fungsi. Fungsi mencerminkan definisi pada file header Python C.

`token.``tok_name`

  Kamus memetakan nilai numerik dari konstanta yang didefinisikan dalam modul ini kembali ke string nama, yang memungkinkan dihasilkannya representasi pohon parse yang lebih dapat dibaca oleh manusia.

`token.``ISTERMINAL`(x)

  Kembalikan `True` untuk nilai-nilai token terminal (akhir).

`token.``ISNONTERMINAL`(x)

  Kembalikan `True` untuk nilai-nilai token non-terminal.

`token.``ISEOF`(x)

  Kembalikan nilai `True` jika x adalah penanda yang menunjukkan akhir input.

Konstanta token antara lain:

`token.``ENDMARKER`

`token.``NAME`

`token.``NUMBER`

`token.``STRING`

`token.``NEWLINE`

`token.``INDENT`

`token.``DEDENT`

`token.``LPAR`

  Nilai token untuk `"("`.

`token.``RPAR`

  Nilai token untuk `")"`.

`token.``LSQB`

  Nilai token untuk `"["`.

`token.``RSQB`

  Nilai token untuk `"]"`.

`token.``COLON`

  Nilai token untuk `":"`.

`token.``COMMA`

  Nilai token untuk `","`.

`token.``SEMI`

  Nilai token untuk `";"`.

`token.``PLUS`

  Nilai token untuk `"+"`.

`token.``MINUS`

  Nilai token untuk `"-"`.

`token.``STAR`

  Nilai token untuk `"*"`.

`token.``SLASH`

  Nilai token untuk `"/"`.

`token.``VBAR`

  Nilai token untuk `"|"`.

`token.``AMPER`

  Nilai token untuk `"&"`.

`token.``LESS`

  Nilai token untuk `"<"`.

`token.``GREATER`

  Nilai token untuk``">"``.

`token.``EQUAL`

  Nilai token untuk `"="`.

`token.``DOT`

  Nilai token untuk `"."`.

`token.``PERCENT`

  Nilai token untuk `"%"`.

`token.``LBRACE`

  Nilai token untuk `"{"`.

`token.``RBRACE`

  Nilai token untuk `"}"`.

`token.``EQEQUAL`

  Nilai token untuk `"=="`.

`token.``NOTEQUAL`

  Nilai token untuk `"!="`.

`token.``LESSEQUAL`

  Nilai token untuk `"<="`.

`token.``GREATEREQUAL`

  Nilai token untuk `">="`.

`token.``TILDE`

  Nilai token untuk `"~"`.

`token.``CIRCUMFLEX`

  Nilai token untuk `"^"`.

`token.``LEFTSHIFT`

  Nilai token untuk``"<<"``.

`token.``RIGHTSHIFT`

  Nilai token untuk `">>"`.

`token.``DOUBLESTAR`

  Nilai token untuk `"**"`.

`token.``PLUSEQUAL`

  Nilai token untuk `"+="`.

`token.``MINEQUAL`

  Nilai token untuk `"-="`.

`token.``STAREQUAL`

  Nilai token untuk``"*="``.

`token.``SLASHEQUAL`

  Nilai token untuk `"/="`.

`token.``PERCENTEQUAL`

  Nilai token untuk `"%="`.

`token.``AMPEREQUAL`

  Nilai token untuk `"&="`.

`token.``VBAREQUAL`

  Nilai token untuk``"|="``.

`token.``CIRCUMFLEXEQUAL`

  Nilai token untuk `"^="`.

`token.``LEFTSHIFTEQUAL`

  Nilai token untuk``"<<="``.

`token.``RIGHTSHIFTEQUAL`

  Nilai token untuk `">>="`.

`token.``DOUBLESTAREQUAL`

  Nilai token untuk `"**="`.

`token.``DOUBLESLASH`

  Nilai token untuk `"//"`.

`token.``DOUBLESLASHEQUAL`

  Nilai token untuk `"//="`.

`token.``AT`

  Nilai token untuk `"@"`.

`token.``ATEQUAL`

  Nilai token untuk `"@="`.

`token.``RARROW`

  Nilai token untuk `"->"`.

`token.``ELLIPSIS`

  Nilai token untuk `"..."`.

`token.``COLONEQUAL`

  Nilai token untuk `":="`.

`token.``OP`

`token.``AWAIT`

`token.``ASYNC`

`token.``TYPE_IGNORE`

`token.``TYPE_COMMENT`

`token.``SOFT_KEYWORD`

`token.``ERRORTOKEN`

`token.``N_TOKENS`

`token.``NT_OFFSET`

Nilai tipe token berikut tidak digunakan oleh penanda (tokenizer) C tetapi diperlukan untuk modul `tokenize`.

`token.``COMMENT`

  Nilai token digunakan untuk menunjukkan komentar.

`token.``NL`

  Nilai token digunakan untuk menunjukkan baris baru yang tidak berhenti. Token `NEWLINE` menunjukkan akhir baris logika kode Python; token `NL` dihasilkan ketika satu baris kode logis diteruskan melalui beberapa baris fisik.

`token.``ENCODING`

  Nilai token yang menunjukkan pengodean yang digunakan untuk mendekode sumber byte menjadi teks. Token pertama yang dikembalikan oleh `tokenize.tokenize()` akan selalu menjadi token `ENCODING`.

`token.``TYPE_COMMENT`

  Nilai token yang menunjukkan bahwa tipe komentar dikenali. Token tersebut hanya diproduksi ketika `ast.parse()` dipanggil dengan `type_comments=True`.

Berubah pada versi 3.5: Menambahkan token `AWAIT` dan `ASYNC`.

Berubah pada versi 3.7: Menambahkan token `COMMENT`, `NL` dan `ENCODING`.

Berubah pada versi 3.7: Menghapus token `AWAIT` dan `ASYNC`. "async" dan "await" sekarang ditandai sebagai token `NAME`.

Berubah pada versi 3.8: Menambahkan `TYPE_COMMENT`, `TYPE_IGNORE`, `COLONEQUAL`. Menambahkan kembali `AWAIT` dan `ASYNC` (mereka diperlukan untuk mendukung parsing versi Python lama untuk `ast.parse()` dengan `feature_version` diatur ke 6 atau lebih rendah).