token — Constants used with Python parse trees¶
소스 코드: Lib/token.py
이 모듈은 구문 분석 트리의 말단 노드의 숫자 값을 나타내는 상수를 제공합니다 (터미널 토큰). 언어 문법의 문맥에서 이름의 정의는 파이썬 배포판의 Grammar/Tokens 파일을 참조하십시오. 이름이 매핑되는 특정 숫자 값은 파이썬 버전 간에 변경될 수 있습니다.
이 모듈은 숫자 코드에서 이름으로의 매핑과 몇몇 함수도 제공합니다. 이 함수는 파이썬 C 헤더 파일의 정의를 반영합니다.
-
token.tok_name¶ 이 모듈에 정의된 상수의 숫자 값을 다시 이름 문자열로 매핑하여 사람이 읽을 수 있는 구문 분석 트리 표현을 생성할 수 있도록 하는 딕셔너리.
-
token.ISTERMINAL(x)¶ 터미널 토큰값이면
True를 반환합니다.
-
token.ISNONTERMINAL(x)¶ 비 터미널 토큰값이면
True를 반환합니다.
-
token.ISEOF(x)¶ x가 입력의 마지막을 나타내는 표시면
True를 반환합니다.
토큰 상수는 다음과 같습니다:
-
token.ENDMARKER¶
-
token.NAME¶
-
token.NUMBER¶
-
token.STRING¶
-
token.NEWLINE¶
-
token.INDENT¶
-
token.DEDENT¶
-
token.LPAR¶ Token value for
"(".
-
token.RPAR¶ Token value for
")".
-
token.LSQB¶ Token value for
"[".
-
token.RSQB¶ Token value for
"]".
-
token.COLON¶ Token value for
":".
-
token.COMMA¶ Token value for
",".
-
token.SEMI¶ Token value for
";".
-
token.PLUS¶ Token value for
"+".
-
token.MINUS¶ Token value for
"-".
-
token.STAR¶ Token value for
"*".
-
token.SLASH¶ Token value for
"/".
-
token.VBAR¶ Token value for
"|".
-
token.AMPER¶ Token value for
"&".
-
token.LESS¶ Token value for
"<".
-
token.GREATER¶ Token value for
">".
-
token.EQUAL¶ Token value for
"=".
-
token.DOT¶ Token value for
".".
-
token.PERCENT¶ Token value for
"%".
-
token.LBRACE¶ Token value for
"{".
-
token.RBRACE¶ Token value for
"}".
-
token.EQEQUAL¶ Token value for
"==".
-
token.NOTEQUAL¶ Token value for
"!=".
-
token.LESSEQUAL¶ Token value for
"<=".
-
token.GREATEREQUAL¶ Token value for
">=".
-
token.TILDE¶ Token value for
"~".
-
token.CIRCUMFLEX¶ Token value for
"^".
-
token.LEFTSHIFT¶ Token value for
"<<".
-
token.RIGHTSHIFT¶ Token value for
">>".
-
token.DOUBLESTAR¶ Token value for
"**".
-
token.PLUSEQUAL¶ Token value for
"+=".
-
token.MINEQUAL¶ Token value for
"-=".
-
token.STAREQUAL¶ Token value for
"*=".
-
token.SLASHEQUAL¶ Token value for
"/=".
-
token.PERCENTEQUAL¶ Token value for
"%=".
-
token.AMPEREQUAL¶ Token value for
"&=".
-
token.VBAREQUAL¶ Token value for
"|=".
-
token.CIRCUMFLEXEQUAL¶ Token value for
"^=".
-
token.LEFTSHIFTEQUAL¶ Token value for
"<<=".
-
token.RIGHTSHIFTEQUAL¶ Token value for
">>=".
-
token.DOUBLESTAREQUAL¶ Token value for
"**=".
-
token.DOUBLESLASH¶ Token value for
"//".
-
token.DOUBLESLASHEQUAL¶ Token value for
"//=".
-
token.AT¶ Token value for
"@".
-
token.ATEQUAL¶ Token value for
"@=".
-
token.RARROW¶ Token value for
"->".
-
token.ELLIPSIS¶ Token value for
"...".
-
token.COLONEQUAL¶ Token value for
":=".
-
token.OP¶
-
token.AWAIT¶
-
token.ASYNC¶
-
token.TYPE_IGNORE¶
-
token.TYPE_COMMENT¶
-
token.SOFT_KEYWORD¶
-
token.ERRORTOKEN¶
-
token.N_TOKENS¶
-
token.NT_OFFSET¶
The following token type values aren’t used by the C tokenizer but are needed for
the tokenize module.
-
token.COMMENT¶ Token value used to indicate a comment.
-
token.NL¶ Token value used to indicate a non-terminating newline. The
NEWLINEtoken indicates the end of a logical line of Python code;NLtokens are generated when a logical line of code is continued over multiple physical lines.
-
token.ENCODING¶ 소스 바이트열을 텍스트로 디코딩하는 데 사용되는 인코딩을 나타내는 토큰값.
tokenize.tokenize()에 의해 반환되는 첫 번째 토큰은 항상ENCODING토큰입니다.
-
token.TYPE_COMMENT Token value indicating that a type comment was recognized. Such tokens are only produced when
ast.parse()is invoked withtype_comments=True.
버전 3.8에서 변경: Added TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL.
Added AWAIT and ASYNC tokens back (they’re needed
to support parsing older Python versions for ast.parse() with
feature_version set to 6 or lower).