token
--- 与Python解析树一起使用的常量¶
源码: Lib/token.py
此模块提供表示解析树(终端令牌)的叶节点的数值的常量。 请参阅 Python 发行版中的文件 Grammar/Grammar
,以获取语言语法上下文中名称的定义。 名称映射到的特定数值可能会在 Python 版本之间更改。
该模块还提供从数字代码到名称和一些函数的映射。 这些函数镜像了 Python C 头文件中的定义。
-
token.
tok_name
¶ 将此模块中定义的常量的数值映射回名称字符串的字典,允许生成更加人类可读的解析树表示。
-
token.
ISTERMINAL
(x)¶ 对终端标记值返回
True
。
-
token.
ISNONTERMINAL
(x)¶ 对非终端标记值返回
True
。
-
token.
ISEOF
(x)¶ 如果 x 是表示输入结束的标记则返回
True
。
标记常量是:
-
token.
ENDMARKER
¶ -
token.
NAME
¶ -
token.
NUMBER
¶ -
token.
STRING
¶ -
token.
NEWLINE
¶ -
token.
INDENT
¶ -
token.
DEDENT
¶ -
token.
LPAR
¶ -
token.
RPAR
¶ -
token.
LSQB
¶ -
token.
RSQB
¶ -
token.
COLON
¶ -
token.
COMMA
¶ -
token.
SEMI
¶ -
token.
PLUS
¶ -
token.
MINUS
¶ -
token.
STAR
¶ -
token.
SLASH
¶ -
token.
VBAR
¶ -
token.
AMPER
¶ -
token.
LESS
¶ -
token.
GREATER
¶ -
token.
EQUAL
¶ -
token.
DOT
¶ -
token.
PERCENT
¶ -
token.
LBRACE
¶ -
token.
RBRACE
¶ -
token.
EQEQUAL
¶ -
token.
NOTEQUAL
¶ -
token.
LESSEQUAL
¶ -
token.
GREATEREQUAL
¶ -
token.
TILDE
¶ -
token.
CIRCUMFLEX
¶ -
token.
LEFTSHIFT
¶ -
token.
RIGHTSHIFT
¶ -
token.
DOUBLESTAR
¶ -
token.
PLUSEQUAL
¶ -
token.
MINEQUAL
¶ -
token.
STAREQUAL
¶ -
token.
SLASHEQUAL
¶ -
token.
PERCENTEQUAL
¶ -
token.
AMPEREQUAL
¶ -
token.
VBAREQUAL
¶ -
token.
CIRCUMFLEXEQUAL
¶ -
token.
LEFTSHIFTEQUAL
¶ -
token.
RIGHTSHIFTEQUAL
¶ -
token.
DOUBLESTAREQUAL
¶ -
token.
DOUBLESLASH
¶ -
token.
DOUBLESLASHEQUAL
¶ -
token.
AT
¶ -
token.
ATEQUAL
¶ -
token.
RARROW
¶ -
token.
ELLIPSIS
¶ -
token.
OP
¶ -
token.
ERRORTOKEN
¶ -
token.
N_TOKENS
¶ -
token.
NT_OFFSET
¶
C 标记生成器不使用以下标记类型值,但 tokenize
模块需要这些标记类型值。
-
token.
COMMENT
¶ 标记值用于表示注释。
-
token.
ENCODING
¶ 指示用于将源字节解码为文本的编码的标记值。
tokenize.tokenize()
返回的第一个标记将始终是一个ENCODING
标记。
在 3.5 版更改: 补充 AWAIT
和 ASYNC
标记。
在 3.7 版更改: 移除 AWAIT
和 ASYNC
标记。 "async" 和 "await" 现在被标记为 NAME
标记。