# 32.5. `token` --- Konstanta digunakan dengan pohon pengurai (parse tree) Python

Kode sumber: Lib/token.py

Modul ini menyediakan konstanta yang mewakili nilai numerik dari simpul daun pohon parse (token terminal). Merujuk pada berkas `Grammar/Grammar` dalam distribusi Python untuk definisi nama-nama dalam konteks tata bahasa bahasa. Nilai numerik tertentu yang dipetakan oleh nama-nama dapat berubah antar versi Python.

Modul ini juga menyediakan pemetaan dari kode numerik ke nama dan beberapa fungsi. Fungsi mencerminkan definisi pada file header Python C.

`token.``tok_name`

  Kamus memetakan nilai numerik dari konstanta yang didefinisikan dalam modul ini kembali ke string nama, yang memungkinkan dihasilkannya representasi pohon parse yang lebih dapat dibaca oleh manusia.

`token.``ISTERMINAL`(x)

  Return true for terminal token values.

`token.``ISNONTERMINAL`(x)

  Return true for non-terminal token values.

`token.``ISEOF`(x)

  Return true if x is the marker indicating the end of input.

Konstanta token antara lain:

`token.``ENDMARKER`
`token.``NAME`
`token.``NUMBER`
`token.``STRING`
`token.``NEWLINE`
`token.``INDENT`
`token.``DEDENT`
`token.``LPAR`
`token.``RPAR`
`token.``LSQB`
`token.``RSQB`
`token.``COLON`
`token.``COMMA`
`token.``SEMI`
`token.``PLUS`
`token.``MINUS`
`token.``STAR`
`token.``SLASH`
`token.``VBAR`
`token.``AMPER`
`token.``LESS`
`token.``GREATER`
`token.``EQUAL`
`token.``DOT`
`token.``PERCENT`
`token.``LBRACE`
`token.``RBRACE`
`token.``EQEQUAL`
`token.``NOTEQUAL`
`token.``LESSEQUAL`
`token.``GREATEREQUAL`
`token.``TILDE`
`token.``CIRCUMFLEX`
`token.``LEFTSHIFT`
`token.``RIGHTSHIFT`
`token.``DOUBLESTAR`
`token.``PLUSEQUAL`
`token.``MINEQUAL`
`token.``STAREQUAL`
`token.``SLASHEQUAL`
`token.``PERCENTEQUAL`
`token.``AMPEREQUAL`
`token.``VBAREQUAL`
`token.``CIRCUMFLEXEQUAL`
`token.``LEFTSHIFTEQUAL`
`token.``RIGHTSHIFTEQUAL`
`token.``DOUBLESTAREQUAL`
`token.``DOUBLESLASH`
`token.``DOUBLESLASHEQUAL`
`token.``AT`
`token.``ATEQUAL`
`token.``RARROW`
`token.``ELLIPSIS`
`token.``OP`
`token.``AWAIT`
`token.``ASYNC`
`token.``ERRORTOKEN`
`token.``N_TOKENS`
`token.``NT_OFFSET`

  Berubah pada versi 3.5: Added `AWAIT` and `ASYNC` tokens. Starting with Python 3.7, "async" and "await" will be tokenized as `NAME` tokens, and `AWAIT` and `ASYNC` will be removed.