"token" --- Konstanta digunakan dengan pohon pengurai (parse tree) Python
*************************************************************************

**Kode sumber:** Lib/token.py

======================================================================

Modul ini menyediakan konstanta yang mewakili nilai numerik dari
simpul daun pohon parse (token terminal). Merujuk pada berkas
"Grammar/Grammar" dalam distribusi Python untuk definisi nama-nama
dalam konteks tata bahasa bahasa. Nilai numerik tertentu yang
dipetakan oleh nama-nama dapat berubah antar versi Python.

Modul ini juga menyediakan pemetaan dari kode numerik ke nama dan
beberapa fungsi. Fungsi mencerminkan definisi pada file header Python
C.

token.tok_name

   Kamus memetakan nilai numerik dari konstanta yang didefinisikan
   dalam modul ini kembali ke string nama, yang memungkinkan
   dihasilkannya representasi pohon parse yang lebih dapat dibaca oleh
   manusia.

token.ISTERMINAL(x)

   Kembalikan "True" untuk nilai-nilai token terminal (akhir).

token.ISNONTERMINAL(x)

   Kembalikan "True" untuk nilai-nilai token non-terminal.

token.ISEOF(x)

   Kembalikan nilai "True" jika *x* adalah penanda yang menunjukkan
   akhir input.

Konstanta token antara lain:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

   Nilai *token* untuk ""("".

token.RPAR

   Nilai *token* untuk "")"".

token.LSQB

   Nilai *token* untuk ""["".

token.RSQB

   Nilai *token* untuk ""]"".

token.COLON

   Nilai *token* untuk "":"".

token.COMMA

   Nilai *token* untuk "","".

token.SEMI

   Nilai *token* untuk "";"".

token.PLUS

   Nilai *token* untuk ""+"".

token.MINUS

   Nilai *token* untuk ""-"".

token.STAR

   Nilai *token* untuk ""*"".

token.SLASH

   Nilai *token* untuk ""/"".

token.VBAR

   Nilai *token* untuk ""|"".

token.AMPER

   Nilai *token* untuk ""&"".

token.LESS

   Nilai *token* untuk ""<"".

token.GREATER

   Nilai *token* untuk``">">>``<<.

token.EQUAL

   Nilai *token* untuk ""="".

token.DOT

   Nilai *token* untuk ""."".

token.PERCENT

   Nilai *token* untuk ""%"".

token.LBRACE

   Nilai *token* untuk ""{"".

token.RBRACE

   Nilai *token* untuk ""}"".

token.EQEQUAL

   Nilai *token* untuk ""=="".

token.NOTEQUAL

   Nilai *token* untuk ""!="".

token.LESSEQUAL

   Nilai *token* untuk ""<="".

token.GREATEREQUAL

   Nilai *token* untuk "">="".

token.TILDE

   Nilai *token* untuk ""~"".

token.CIRCUMFLEX

   Nilai *token* untuk ""^"".

token.LEFTSHIFT

   Nilai *token* untuk``"<<">>``<<.

token.RIGHTSHIFT

   Nilai *token* untuk "">>"".

token.DOUBLESTAR

   Nilai *token* untuk ""**"".

token.PLUSEQUAL

   Nilai *token* untuk ""+="".

token.MINEQUAL

   Nilai *token* untuk ""-="".

token.STAREQUAL

   Nilai *token* untuk``">>*<<=">>``<<.

token.SLASHEQUAL

   Nilai *token* untuk ""/="".

token.PERCENTEQUAL

   Nilai *token* untuk ""%="".

token.AMPEREQUAL

   Nilai *token* untuk ""&="".

token.VBAREQUAL

   Nilai *token* untuk``">>|<<=">>``<<.

token.CIRCUMFLEXEQUAL

   Nilai *token* untuk ""^="".

token.LEFTSHIFTEQUAL

   Nilai *token* untuk``"<<=">>``<<.

token.RIGHTSHIFTEQUAL

   Nilai *token* untuk "">>="".

token.DOUBLESTAREQUAL

   Nilai *token* untuk ""**="".

token.DOUBLESLASH

   Nilai *token* untuk ""//"".

token.DOUBLESLASHEQUAL

   Nilai *token* untuk ""//="".

token.AT

   Nilai *token* untuk ""@"".

token.ATEQUAL

   Nilai *token* untuk ""@="".

token.RARROW

   Nilai *token* untuk ""->"".

token.ELLIPSIS

   Nilai *token* untuk ""..."".

token.COLONEQUAL

   Nilai *token* untuk "":="".

token.OP

token.AWAIT

token.ASYNC

token.TYPE_IGNORE

token.TYPE_COMMENT

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

Nilai tipe token berikut tidak digunakan oleh penanda (tokenizer) C
tetapi diperlukan untuk modul "tokenize".

token.COMMENT

   Nilai token digunakan untuk menunjukkan komentar.

token.NL

   Nilai token digunakan untuk menunjukkan baris baru yang tidak
   berhenti. Token "NEWLINE" menunjukkan akhir baris logika kode
   Python; token "NL" dihasilkan ketika satu baris kode logis
   diteruskan melalui beberapa baris fisik.

token.ENCODING

   Nilai token yang menunjukkan pengodean yang digunakan untuk
   mendekode sumber byte menjadi teks. Token pertama yang dikembalikan
   oleh "tokenize.tokenize()" akan selalu menjadi token "ENCODING".

token.TYPE_COMMENT

   Nilai token yang menunjukkan bahwa tipe komentar dikenali. Token
   tersebut hanya diproduksi ketika "ast.parse()" dipanggil dengan
   "type_comments=True".

Berubah pada versi 3.5: Menambahkan token "AWAIT" dan "ASYNC".

Berubah pada versi 3.7: Menambahkan token "COMMENT", "NL" dan
"ENCODING".

Berubah pada versi 3.7: Menghapus token "AWAIT" dan "ASYNC". "async"
dan "await" sekarang ditandai sebagai token "NAME".

Berubah pada versi 3.8: Added "TYPE_COMMENT", "TYPE_IGNORE",
"COLONEQUAL". Added "AWAIT" and "ASYNC" tokens back (they're needed to
support parsing older Python versions for "ast.parse()" with
"feature_version" set to 6 or lower).
