在 Python 中生成令牌 [重复]

Posted 2023-02-23

【中文标题】在 Python 中生成令牌 [重复]

【英文标题】：Generating tokens in Python [duplicate]

【发布时间】：2011-07-27 10:44:31

【问题描述】：

可能重复：Is there a good Python library that can parse C++?

我希望 Python 扫描一个文件（一个 .cpp 文件）并使用内置的 Python 标记器从中生成令牌。如何实现？

【问题讨论】：

实际上解析器会产生令牌，所以这可能会对您有所帮助。 http://***.com/questions/1444961/is-there-a-good-python-library-that-can-parse-c

@kracekumar：解析器吃掉标记并生成语法树。创建标记是标记器（或“词法分析器”）的工作。

【参考方案1】：

内置的分词器和 ast 东西用于解析 Python，而不是 C++ 等其他语言。

你可能想看看GCC-XML。