"token" --- Konstanta digunakan dengan pohon pengurai (parse tree) Python
*************************************************************************

**Kode sumber:** Lib/token.py

======================================================================

Modul ini menyediakan konstanta yang mewakili nilai numerik dari
simpul daun pohon parse (token terminal). Merujuk pada berkas
"Grammar/Grammar" dalam distribusi Python untuk definisi nama-nama
dalam konteks tata bahasa bahasa. Nilai numerik tertentu yang
dipetakan oleh nama-nama dapat berubah antar versi Python.

Modul ini juga menyediakan pemetaan dari kode numerik ke nama dan
beberapa fungsi. Fungsi mencerminkan definisi pada file header Python
C.

token.tok_name

   Kamus memetakan nilai numerik dari konstanta yang didefinisikan
   dalam modul ini kembali ke string nama, yang memungkinkan
   dihasilkannya representasi pohon parse yang lebih dapat dibaca oleh
   manusia.

token.ISTERMINAL(x)

   Kembalikan "True" untuk nilai-nilai token terminal (akhir).

token.ISNONTERMINAL(x)

   Kembalikan "True" untuk nilai-nilai token non-terminal.

token.ISEOF(x)

   Kembalikan nilai "True" jika *x* adalah penanda yang menunjukkan
   akhir input.

Konstanta token antara lain:

token.ENDMARKER
token.NAME
token.NUMBER
token.STRING
token.NEWLINE
token.INDENT
token.DEDENT
token.LPAR
token.RPAR
token.LSQB
token.RSQB
token.COLON
token.COMMA
token.SEMI
token.PLUS
token.MINUS
token.STAR
token.SLASH
token.VBAR
token.AMPER
token.LESS
token.GREATER
token.EQUAL
token.DOT
token.PERCENT
token.LBRACE
token.RBRACE
token.EQEQUAL
token.NOTEQUAL
token.LESSEQUAL
token.GREATEREQUAL
token.TILDE
token.CIRCUMFLEX
token.LEFTSHIFT
token.RIGHTSHIFT
token.DOUBLESTAR
token.PLUSEQUAL
token.MINEQUAL
token.STAREQUAL
token.SLASHEQUAL
token.PERCENTEQUAL
token.AMPEREQUAL
token.VBAREQUAL
token.CIRCUMFLEXEQUAL
token.LEFTSHIFTEQUAL
token.RIGHTSHIFTEQUAL
token.DOUBLESTAREQUAL
token.DOUBLESLASH
token.DOUBLESLASHEQUAL
token.AT
token.ATEQUAL
token.RARROW
token.ELLIPSIS
token.OP
token.ERRORTOKEN
token.N_TOKENS
token.NT_OFFSET

Nilai tipe token berikut tidak digunakan oleh penanda (tokenizer) C
tetapi diperlukan untuk modul "tokenize".

token.COMMENT

   Nilai token digunakan untuk menunjukkan komentar.

token.NL

   Nilai token digunakan untuk menunjukkan baris baru yang tidak
   berhenti. Token "NEWLINE" menunjukkan akhir baris logika kode
   Python; token "NL" dihasilkan ketika satu baris kode logis
   diteruskan melalui beberapa baris fisik.

token.ENCODING

   Nilai token yang menunjukkan pengodean yang digunakan untuk
   mendekode sumber byte menjadi teks. Token pertama yang dikembalikan
   oleh "tokenize.tokenize()" akan selalu menjadi token "ENCODING".

Berubah pada versi 3.5: Menambahkan token "AWAIT" dan "ASYNC".

Berubah pada versi 3.7: Menambahkan token "COMMENT", "NL" dan
"ENCODING".

Berubah pada versi 3.7: Menghapus token "AWAIT" dan "ASYNC". "async"
dan "await" sekarang ditandai sebagai token "NAME".
