用 PLY 解析 python，如何编码缩进和缩进部分

Posted 2023-03-24

【中文标题】用 PLY 解析 python，如何编码缩进和缩进部分

【英文标题】：Parsing python with PLY, how to code the indent and dedent part

【发布时间】：2013-11-04 17:55:49

【问题描述】：

我试图用 PLY 解析 Python 语言的函数定义。 我遇到了与缩进有关的问题。 例如对于 for 语句，我希望能够知道块何时结束。 我在这里阅读了python语法：http://docs.python.org/2/reference/grammar.html 而这部分的语法是：

for_stmt: 'for' exprlist 'in' testlist ':' suite ['else' ':' suite]
suite: simple_stmt | NEWLINE INDENT stmt+ DEDENT

我不知道如何用 PLY 来描述 INDENT 和 DEDENT 标记。 我正在尝试类似：

def t_indentation(t):
    r'    |\t'
    #some special treatment for the indentation.

但似乎 PLY 认为带有空格的正则表达式与空字符串匹配并且不构建词法分析器...... 即使我能设法获得 INDENT 令牌，我也不确定获得 DEDENT 的方法...

有没有办法用 PLY 做到这一点？

【问题讨论】：

Python 中关于 INDENT 和 DEDENT 的规则比四个空格或一个制表符要复杂。在其他解析器生成器中，使用确定前导空格量是有效缩进还是缩进的语义操作，或者通过干预标记器以注入 INDENT 或 DEDENT 标记来解决问题。

是的，我正在考虑使用 t_indentation 函数进行令牌注入。 PLY 的正则表达式是错误的， r'[ ]4|\t' 更好。谢谢。

看来使用 plyplus 有更简单的方法：github.com/erezsh/plyplus/blob/master/plyplus/grammars/…

【参考方案1】：

您必须使用状态来解析 INDENT 和 UNDENT。

example解析python之类的语言

【讨论】：

那个例子没有使用状态来解析INDENT和UNDENT；它使用后处理步骤。

【参考方案2】：

PLY 在其示例中包含一个用于 Python 子集的示例，以演示如何处理缩进：

https://github.com/dabeaz/ply/tree/1321375e013425958ea090b55aecae0a4b7face6/example/GardenSnake

【讨论】：

链接已失效，因为它已在最新版本的 PLY 中被删除，但旧版本在这里：github.com/dabeaz/ply/blob/3.11/example/GardenSnake/…