# `token` --- Konstanta digunakan dengan pohon pengurai (parse tree) Python

Kode sumber: Lib/token.py

Modul ini menyediakan konstanta yang mewakili nilai numerik dari simpul daun pohon parse (token terminal). Merujuk pada berkas `Grammar/Grammar` dalam distribusi Python untuk definisi nama-nama dalam konteks tata bahasa bahasa. Nilai numerik tertentu yang dipetakan oleh nama-nama dapat berubah antar versi Python.

Modul ini juga menyediakan pemetaan dari kode numerik ke nama dan beberapa fungsi. Fungsi mencerminkan definisi pada file header Python C.

`token.``tok_name`

  Kamus memetakan nilai numerik dari konstanta yang didefinisikan dalam modul ini kembali ke string nama, yang memungkinkan dihasilkannya representasi pohon parse yang lebih dapat dibaca oleh manusia.

`token.``ISTERMINAL`(x)

  Kembalikan `True` untuk nilai-nilai token terminal (akhir).

`token.``ISNONTERMINAL`(x)

  Kembalikan `True` untuk nilai-nilai token non-terminal.

`token.``ISEOF`(x)

  Kembalikan nilai `True` jika x adalah penanda yang menunjukkan akhir input.

Konstanta token antara lain:

`token.``ENDMARKER`

`token.``NAME`

`token.``NUMBER`

`token.``STRING`

`token.``NEWLINE`

`token.``INDENT`

`token.``DEDENT`

`token.``LPAR`

  Nilai token untuk `"("`.

`token.``RPAR`

  Nilai token untuk `")"`.

`token.``LSQB`

  Nilai token untuk `"["`.

`token.``RSQB`

  Nilai token untuk `"]"`.

`token.``COLON`

  Nilai token untuk `":"`.

`token.``COMMA`

  Nilai token untuk `","`.

`token.``SEMI`

  Nilai token untuk `";"`.

`token.``PLUS`

  Nilai token untuk `"+"`.

`token.``MINUS`

  Nilai token untuk `"-"`.

`token.``STAR`

  Nilai token untuk `"*"`.

`token.``SLASH`

  Nilai token untuk `"/"`.

`token.``VBAR`

  Nilai token untuk `"|"`.

`token.``AMPER`

  Nilai token untuk `"&"`.

`token.``LESS`

  Nilai token untuk `"<"`.

`token.``GREATER`

  Nilai token untuk``">"``.

`token.``EQUAL`

  Nilai token untuk `"="`.

`token.``DOT`

  Nilai token untuk `"."`.

`token.``PERCENT`

  Nilai token untuk `"%"`.

`token.``LBRACE`

  Nilai token untuk `"{"`.

`token.``RBRACE`

  Nilai token untuk `"}"`.

`token.``EQEQUAL`

  Nilai token untuk `"=="`.

`token.``NOTEQUAL`

  Nilai token untuk `"!="`.

`token.``LESSEQUAL`

  Nilai token untuk `"<="`.

`token.``GREATEREQUAL`

  Nilai token untuk `">="`.

`token.``TILDE`

  Nilai token untuk `"~"`.

`token.``CIRCUMFLEX`

  Nilai token untuk `"^"`.

`token.``LEFTSHIFT`

  Nilai token untuk``"<<"``.

`token.``RIGHTSHIFT`

  Nilai token untuk `">>"`.

`token.``DOUBLESTAR`

  Nilai token untuk `"**"`.

`token.``PLUSEQUAL`

  Nilai token untuk `"+="`.

`token.``MINEQUAL`

  Nilai token untuk `"-="`.

`token.``STAREQUAL`

  Nilai token untuk``"*="``.

`token.``SLASHEQUAL`

  Nilai token untuk `"/="`.

`token.``PERCENTEQUAL`

  Nilai token untuk `"%="`.

`token.``AMPEREQUAL`

  Nilai token untuk `"&="`.

`token.``VBAREQUAL`

  Nilai token untuk``"|="``.

`token.``CIRCUMFLEXEQUAL`

  Nilai token untuk `"^="`.

`token.``LEFTSHIFTEQUAL`

  Nilai token untuk``"<<="``.

`token.``RIGHTSHIFTEQUAL`

  Nilai token untuk `">>="`.

`token.``DOUBLESTAREQUAL`

  Nilai token untuk `"**="`.

`token.``DOUBLESLASH`

  Nilai token untuk `"//"`.

`token.``DOUBLESLASHEQUAL`

  Nilai token untuk `"//="`.

`token.``AT`

  Nilai token untuk `"@"`.

`token.``ATEQUAL`

  Nilai token untuk `"@="`.

`token.``RARROW`

  Nilai token untuk `"->"`.

`token.``ELLIPSIS`

  Nilai token untuk `"..."`.

`token.``COLONEQUAL`

  Nilai token untuk `":="`.

`token.``OP`

`token.``AWAIT`

`token.``ASYNC`

`token.``TYPE_IGNORE`

`token.``TYPE_COMMENT`

`token.``ERRORTOKEN`

`token.``N_TOKENS`

`token.``NT_OFFSET`

Nilai tipe token berikut tidak digunakan oleh penanda (tokenizer) C tetapi diperlukan untuk modul `tokenize`.

`token.``COMMENT`

  Nilai token digunakan untuk menunjukkan komentar.

`token.``NL`

  Nilai token digunakan untuk menunjukkan baris baru yang tidak berhenti. Token `NEWLINE` menunjukkan akhir baris logika kode Python; token `NL` dihasilkan ketika satu baris kode logis diteruskan melalui beberapa baris fisik.

`token.``ENCODING`

  Nilai token yang menunjukkan pengodean yang digunakan untuk mendekode sumber byte menjadi teks. Token pertama yang dikembalikan oleh `tokenize.tokenize()` akan selalu menjadi token `ENCODING`.

`token.``TYPE_COMMENT`

  Nilai token yang menunjukkan bahwa tipe komentar dikenali. Token tersebut hanya diproduksi ketika `ast.parse()` dipanggil dengan `type_comments=True`.

Berubah pada versi 3.5: Menambahkan token `AWAIT` dan `ASYNC`.

Berubah pada versi 3.7: Menambahkan token `COMMENT`, `NL` dan `ENCODING`.

Berubah pada versi 3.7: Menghapus token `AWAIT` dan `ASYNC`. "async" dan "await" sekarang ditandai sebagai token `NAME`.

Berubah pada versi 3.8: Menambahkan `TYPE_COMMENT`, `TYPE_IGNORE`, `COLONEQUAL`. Menambahkan kembali `AWAIT` dan `ASYNC` (mereka diperlukan untuk mendukung parsing versi Python lama untuk `ast.parse()` dengan `feature_version` diatur ke 6 atau lebih rendah).