"token" --- Constants used with Python parse trees
**************************************************

**Kode sumber:** Lib/token.py

======================================================================

This module provides constants which represent the numeric values of
leaf nodes of the parse tree (terminal tokens).  Refer to the file
"Grammar/Tokens" in the Python distribution for the definitions of the
names in the context of the language grammar.  The specific numeric
values which the names map to may change between Python versions.

Modul ini juga menyediakan pemetaan dari kode numerik ke nama dan
beberapa fungsi. Fungsi mencerminkan definisi pada file header Python
C.

token.tok_name

   Kamus memetakan nilai numerik dari konstanta yang didefinisikan
   dalam modul ini kembali ke string nama, yang memungkinkan
   dihasilkannya representasi pohon parse yang lebih dapat dibaca oleh
   manusia.

token.ISTERMINAL(x)

   Kembalikan "True" untuk nilai-nilai token terminal (akhir).

token.ISNONTERMINAL(x)

   Kembalikan "True" untuk nilai-nilai token non-terminal.

token.ISEOF(x)

   Kembalikan nilai "True" jika *x* adalah penanda yang menunjukkan
   akhir input.

Konstanta token antara lain:

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

   Nilai *token* untuk ""("".

token.RPAR

   Nilai *token* untuk "")"".

token.LSQB

   Nilai *token* untuk ""["".

token.RSQB

   Nilai *token* untuk ""]"".

token.COLON

   Nilai *token* untuk "":"".

token.COMMA

   Nilai *token* untuk "","".

token.SEMI

   Nilai *token* untuk "";"".

token.PLUS

   Nilai *token* untuk ""+"".

token.MINUS

   Nilai *token* untuk ""-"".

token.STAR

   Nilai *token* untuk ""*"".

token.SLASH

   Nilai *token* untuk ""/"".

token.VBAR

   Nilai *token* untuk ""|"".

token.AMPER

   Nilai *token* untuk ""&"".

token.LESS

   Nilai *token* untuk ""<"".

token.GREATER

   Nilai *token* untuk``">">>``<<.

token.EQUAL

   Nilai *token* untuk ""="".

token.DOT

   Nilai *token* untuk ""."".

token.PERCENT

   Nilai *token* untuk ""%"".

token.LBRACE

   Nilai *token* untuk ""{"".

token.RBRACE

   Nilai *token* untuk ""}"".

token.EQEQUAL

   Nilai *token* untuk ""=="".

token.NOTEQUAL

   Nilai *token* untuk ""!="".

token.LESSEQUAL

   Nilai *token* untuk ""<="".

token.GREATEREQUAL

   Nilai *token* untuk "">="".

token.TILDE

   Nilai *token* untuk ""~"".

token.CIRCUMFLEX

   Nilai *token* untuk ""^"".

token.LEFTSHIFT

   Nilai *token* untuk``"<<">>``<<.

token.RIGHTSHIFT

   Nilai *token* untuk "">>"".

token.DOUBLESTAR

   Nilai *token* untuk ""**"".

token.PLUSEQUAL

   Nilai *token* untuk ""+="".

token.MINEQUAL

   Nilai *token* untuk ""-="".

token.STAREQUAL

   Nilai *token* untuk``">>*<<=">>``<<.

token.SLASHEQUAL

   Nilai *token* untuk ""/="".

token.PERCENTEQUAL

   Nilai *token* untuk ""%="".

token.AMPEREQUAL

   Nilai *token* untuk ""&="".

token.VBAREQUAL

   Nilai *token* untuk``">>|<<=">>``<<.

token.CIRCUMFLEXEQUAL

   Nilai *token* untuk ""^="".

token.LEFTSHIFTEQUAL

   Nilai *token* untuk``"<<=">>``<<.

token.RIGHTSHIFTEQUAL

   Nilai *token* untuk "">>="".

token.DOUBLESTAREQUAL

   Nilai *token* untuk ""**="".

token.DOUBLESLASH

   Nilai *token* untuk ""//"".

token.DOUBLESLASHEQUAL

   Nilai *token* untuk ""//="".

token.AT

   Nilai *token* untuk ""@"".

token.ATEQUAL

   Nilai *token* untuk ""@="".

token.RARROW

   Nilai *token* untuk ""->"".

token.ELLIPSIS

   Nilai *token* untuk ""..."".

token.COLONEQUAL

   Nilai *token* untuk "":="".

token.EXCLAMATION

   Token value for ""!"".

token.OP

token.AWAIT

token.ASYNC

token.TYPE_IGNORE

token.TYPE_COMMENT

token.SOFT_KEYWORD

token.FSTRING_START

token.FSTRING_MIDDLE

token.FSTRING_END

token.COMMENT

token.NL

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

Nilai tipe token berikut tidak digunakan oleh penanda (tokenizer) C
tetapi diperlukan untuk modul "tokenize".

token.COMMENT

   Nilai token digunakan untuk menunjukkan komentar.

token.NL

   Nilai token digunakan untuk menunjukkan baris baru yang tidak
   berhenti. Token "NEWLINE" menunjukkan akhir baris logika kode
   Python; token "NL" dihasilkan ketika satu baris kode logis
   diteruskan melalui beberapa baris fisik.

token.ENCODING

   Nilai token yang menunjukkan pengodean yang digunakan untuk
   mendekode sumber byte menjadi teks. Token pertama yang dikembalikan
   oleh "tokenize.tokenize()" akan selalu menjadi token "ENCODING".

token.TYPE_COMMENT

   Token value indicating that a type comment was recognized.  Such
   tokens are only produced when "ast.parse()" is invoked with
   "type_comments=True".

token.EXACT_TOKEN_TYPES

   A dictionary mapping the string representation of a token to its
   numeric code.

   Added in version 3.8.

Berubah pada versi 3.5: Menambahkan token "AWAIT" dan "ASYNC".

Berubah pada versi 3.7: Menambahkan token "COMMENT", "NL" dan
"ENCODING".

Berubah pada versi 3.7: Menghapus token "AWAIT" dan "ASYNC". "async"
dan "await" sekarang ditandai sebagai token "NAME".

Berubah pada versi 3.8: Menambahkan "TYPE_COMMENT", "TYPE_IGNORE",
"COLONEQUAL". Menambahkan kembali "AWAIT" dan "ASYNC" (mereka
diperlukan untuk mendukung parsing versi Python lama untuk
"ast.parse()" dengan "feature_version" diatur ke 6 atau lebih rendah).
