token — 파이썬 구문 분석 트리에 사용되는 상수¶
소스 코드: Lib/token.py
이 모듈은 구문 분석 트리의 말단 노드의 숫자 값을 나타내는 상수를 제공합니다 (터미널 토큰). 언어 문법의 문맥에서 이름의 정의는 파이썬 배포판의 Grammar/Grammar 파일을 참조하십시오. 이름이 매핑되는 특정 숫자 값은 파이썬 버전 간에 변경될 수 있습니다.
이 모듈은 숫자 코드에서 이름으로의 매핑과 몇몇 함수도 제공합니다. 이 함수는 파이썬 C 헤더 파일의 정의를 반영합니다.
-
token.tok_name¶ 이 모듈에 정의된 상수의 숫자 값을 다시 이름 문자열로 매핑하여 사람이 읽을 수 있는 구문 분석 트리 표현을 생성할 수 있도록 하는 딕셔너리.
-
token.ISTERMINAL(x)¶ Return
Truefor terminal token values.
-
token.ISNONTERMINAL(x)¶ Return
Truefor non-terminal token values.
-
token.ISEOF(x)¶ Return
Trueif x is the marker indicating the end of input.
토큰 상수는 다음과 같습니다:
-
token.ENDMARKER¶ -
token.NAME¶ -
token.NUMBER¶ -
token.STRING¶ -
token.NEWLINE¶ -
token.INDENT¶ -
token.DEDENT¶ -
token.LPAR¶ -
token.RPAR¶ -
token.LSQB¶ -
token.RSQB¶ -
token.COLON¶ -
token.COMMA¶ -
token.SEMI¶ -
token.PLUS¶ -
token.MINUS¶ -
token.STAR¶ -
token.SLASH¶ -
token.VBAR¶ -
token.AMPER¶ -
token.LESS¶ -
token.GREATER¶ -
token.EQUAL¶ -
token.DOT¶ -
token.PERCENT¶ -
token.LBRACE¶ -
token.RBRACE¶ -
token.EQEQUAL¶ -
token.NOTEQUAL¶ -
token.LESSEQUAL¶ -
token.GREATEREQUAL¶ -
token.TILDE¶ -
token.CIRCUMFLEX¶ -
token.LEFTSHIFT¶ -
token.RIGHTSHIFT¶ -
token.DOUBLESTAR¶ -
token.PLUSEQUAL¶ -
token.MINEQUAL¶ -
token.STAREQUAL¶ -
token.SLASHEQUAL¶ -
token.PERCENTEQUAL¶ -
token.AMPEREQUAL¶ -
token.VBAREQUAL¶ -
token.CIRCUMFLEXEQUAL¶ -
token.LEFTSHIFTEQUAL¶ -
token.RIGHTSHIFTEQUAL¶ -
token.DOUBLESTAREQUAL¶ -
token.DOUBLESLASH¶ -
token.DOUBLESLASHEQUAL¶ -
token.AT¶ -
token.ATEQUAL¶ -
token.RARROW¶ -
token.ELLIPSIS¶ -
token.OP¶ -
token.ERRORTOKEN¶ -
token.N_TOKENS¶ -
token.NT_OFFSET¶
다음 토큰 유형 값은 C 토크나이저가 사용하지 않지만 tokenize 모듈에 필요합니다.
-
token.COMMENT¶ 주석을 나타내는 데 사용되는 토큰 값.
-
token.NL¶ 비종결 줄넘김을 나타내는데 사용되는 토큰 값.
NEWLINE토큰은 파이썬 코드의 논리적 줄의 끝을 나타냅니다;NL토큰은 코드의 논리적 줄이 여러 물리적 줄로 이어질 때 생성됩니다.
-
token.ENCODING¶ 소스 바이트열을 텍스트로 디코딩하는 데 사용되는 인코딩을 나타내는 토큰 값.
tokenize.tokenize()에 의해 반환되는 첫 번째 토큰은 항상ENCODING토큰입니다.
버전 3.5에서 변경: AWAIT 와 ASYNC 토큰이 추가되었습니다.
버전 3.7에서 변경: AWAIT 와 ASYNC 토큰이 제거되었습니다. “async”와 “await”는 이제 NAME 토큰으로 토큰화됩니다.