token --- Konstanta digunakan dengan pohon pengurai (parse tree) Python¶
Kode sumber: Lib/token.py
Modul ini menyediakan konstanta yang mewakili nilai numerik dari simpul daun pohon parse (token terminal). Merujuk pada berkas Grammar/Grammar dalam distribusi Python untuk definisi nama-nama dalam konteks tata bahasa bahasa. Nilai numerik tertentu yang dipetakan oleh nama-nama dapat berubah antar versi Python.
Modul ini juga menyediakan pemetaan dari kode numerik ke nama dan beberapa fungsi. Fungsi mencerminkan definisi pada file header Python C.
-
token.tok_name¶ Kamus memetakan nilai numerik dari konstanta yang didefinisikan dalam modul ini kembali ke string nama, yang memungkinkan dihasilkannya representasi pohon parse yang lebih dapat dibaca oleh manusia.
-
token.ISTERMINAL(x)¶ Kembalikan
Trueuntuk nilai-nilai token terminal (akhir).
-
token.ISNONTERMINAL(x)¶ Kembalikan
Trueuntuk nilai-nilai token non-terminal.
-
token.ISEOF(x)¶ Kembalikan nilai
Truejika x adalah penanda yang menunjukkan akhir input.
Konstanta token antara lain:
-
token.ENDMARKER¶
-
token.NAME¶
-
token.NUMBER¶
-
token.STRING¶
-
token.NEWLINE¶
-
token.INDENT¶
-
token.DEDENT¶
-
token.LPAR¶ Nilai token untuk
"(".
-
token.RPAR¶ Nilai token untuk
")".
-
token.LSQB¶ Nilai token untuk
"[".
-
token.RSQB¶ Nilai token untuk
"]".
-
token.COLON¶ Nilai token untuk
":".
-
token.COMMA¶ Nilai token untuk
",".
-
token.SEMI¶ Nilai token untuk
";".
-
token.PLUS¶ Nilai token untuk
"+".
-
token.MINUS¶ Nilai token untuk
"-".
-
token.STAR¶ Nilai token untuk
"*".
-
token.SLASH¶ Nilai token untuk
"/".
-
token.VBAR¶ Nilai token untuk
"|".
-
token.AMPER¶ Nilai token untuk
"&".
-
token.LESS¶ Nilai token untuk
"<".
-
token.EQUAL¶ Nilai token untuk
"=".
-
token.DOT¶ Nilai token untuk
".".
-
token.PERCENT¶ Nilai token untuk
"%".
-
token.LBRACE¶ Nilai token untuk
"{".
-
token.RBRACE¶ Nilai token untuk
"}".
-
token.EQEQUAL¶ Nilai token untuk
"==".
-
token.NOTEQUAL¶ Nilai token untuk
"!=".
-
token.LESSEQUAL¶ Nilai token untuk
"<=".
-
token.GREATEREQUAL¶ Nilai token untuk
">=".
-
token.TILDE¶ Nilai token untuk
"~".
-
token.CIRCUMFLEX¶ Nilai token untuk
"^".
-
token.RIGHTSHIFT¶ Nilai token untuk
">>".
-
token.DOUBLESTAR¶ Nilai token untuk
"**".
-
token.PLUSEQUAL¶ Nilai token untuk
"+=".
-
token.MINEQUAL¶ Nilai token untuk
"-=".
-
token.SLASHEQUAL¶ Nilai token untuk
"/=".
-
token.PERCENTEQUAL¶ Nilai token untuk
"%=".
-
token.AMPEREQUAL¶ Nilai token untuk
"&=".
-
token.CIRCUMFLEXEQUAL¶ Nilai token untuk
"^=".
-
token.RIGHTSHIFTEQUAL¶ Nilai token untuk
">>=".
-
token.DOUBLESTAREQUAL¶ Nilai token untuk
"**=".
-
token.DOUBLESLASH¶ Nilai token untuk
"//".
-
token.DOUBLESLASHEQUAL¶ Nilai token untuk
"//=".
-
token.AT¶ Nilai token untuk
"@".
-
token.ATEQUAL¶ Nilai token untuk
"@=".
-
token.RARROW¶ Nilai token untuk
"->".
-
token.ELLIPSIS¶ Nilai token untuk
"...".
-
token.COLONEQUAL¶ Nilai token untuk
":=".
-
token.OP¶
-
token.AWAIT¶
-
token.ASYNC¶
-
token.TYPE_IGNORE¶
-
token.TYPE_COMMENT¶
-
token.ERRORTOKEN¶
-
token.N_TOKENS¶
-
token.NT_OFFSET¶
Nilai tipe token berikut tidak digunakan oleh penanda (tokenizer) C tetapi diperlukan untuk modul tokenize.
-
token.COMMENT¶ Nilai token digunakan untuk menunjukkan komentar.
-
token.NL¶ Nilai token digunakan untuk menunjukkan baris baru yang tidak berhenti. Token
NEWLINEmenunjukkan akhir baris logika kode Python; tokenNLdihasilkan ketika satu baris kode logis diteruskan melalui beberapa baris fisik.
-
token.ENCODING¶ Nilai token yang menunjukkan pengodean yang digunakan untuk mendekode sumber byte menjadi teks. Token pertama yang dikembalikan oleh
tokenize.tokenize()akan selalu menjadi tokenENCODING.
-
token.TYPE_COMMENT Nilai token yang menunjukkan bahwa tipe komentar dikenali. Token tersebut hanya diproduksi ketika
ast.parse()dipanggil dengantype_comments=True.
Berubah pada versi 3.7: Menghapus token AWAIT dan ASYNC. "async" dan "await" sekarang ditandai sebagai token NAME.
Berubah pada versi 3.8: Menambahkan TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL. Menambahkan kembali AWAIT dan ASYNC (mereka diperlukan untuk mendukung parsing versi Python lama untuk ast.parse() dengan feature_version diatur ke 6 atau lebih rendah).