无法使用 Boost Spirit X3 解析空的 C++ 结构

Posted

技术标签:

【中文标题】无法使用 Boost Spirit X3 解析空的 C++ 结构【英文标题】:Cannot parse an empty C++ struct with Boost Spirit X3 【发布时间】:2019-04-19 15:51:10 【问题描述】:

我正在尝试解析头文件中定义的 C++ 结构。我开始定义语法,但我遇到了问题。

这是我的代码:

#include <boost/spirit/home/x3.hpp>

int main() 
  namespace x3 = boost::spirit::x3;

  // Parse "#if !defined XXX_X_" or "'#ifndef X_X"
  auto Ifndef = x3::skip(x3::space)[(x3::lit('#') >> (x3::lit("ifndef") | (x3::lit("if") >> x3::lit("!defined"))))];
  auto HeaderGuardFirstRow = Ifndef >> +(x3::alnum | '_');

  // Parse "#define XXX_X" or "#  define XXX_X"
  auto Define = x3::skip(x3::space)[(x3::lit('#') >> x3::lit("define"))];
  auto HeaderGuardSecondRow = Define >> +(x3::alnum | '_');

  // Parse
  // "
  //  #if !defined XXX_X_
  //  #define XXX_X
  // "
  auto HeaderGuardBegin = HeaderGuardFirstRow >> HeaderGuardSecondRow;

  // Parse "#endif" or "#  endif"
  auto HeaderGuardEnd = x3::skip(x3::space)[x3::lit('#') >> (x3::lit("endif"))];

  // Parse variable name like "xxx" or "my_var"
  auto VariableName = x3::lexeme[x3::char_("a-zA-Z_") >> *(x3::alnum | x3::lit("_"))];

  // Skipper for C++ comments (nested /* */ are not handled for now)
  auto SingleLineComment = "//" >> *(x3::char_ - x3::eol) >> (x3::eol | x3::eoi);
  auto BlockComment = "/*" >> *(x3::char_ - "*/") >> "*/";
  auto Skipper = SingleLineComment | BlockComment | x3::ascii::space;

  // Parse
  // "
  // typedef struct 
  //  MyStruct;
  // "
  // ERROR: This parse does not work
  auto StructType = -x3::lit("typedef") >> x3::skip(Skipper)[x3::lit("struct") >> x3::lit('')] >>
  x3::skip(Skipper)[x3::lit('') >> VariableName >> x3::lit(";")];

  // Header grammar. Should parse
  // "
  // #if !defined XXX_H
  //  #define XXX_H
  //  typedef struct 
  //   MyStruct;
  //  #endif
  // "
  auto grammar = HeaderGuardBegin >> *(StructType) >> HeaderGuardEnd;

  std::string data01(R"xx(
    #if !defined XXX_H
    #define XXX_H
    #endif
  )xx");

  bool r = phrase_parse(
    data01.begin(),
    data01.end(),
    grammar,
    Skipper
    );

    std::string data02(R"xx(
    #if !defined XXX_H
    // Single line comment
    #define XXX_H
    #endif // !XXX_H
  )xx");

  r = phrase_parse(
    data02.begin(),
    data02.end(),
    grammar,
    Skipper
    );

  std::string data03(R"xx(
    #if !defined XXX_H
    #define XXX_H
    typedef struct 
     MyStruct;
    #endif
  )xx");

  // r = false: This parsing does not work.
  r = phrase_parse(
    data03.begin(),
    data03.end(),
    grammar,
    Skipper
    );
  return 0;

在代码中要解析三个字符串:一个只有标头保护,第二个与第一个类似,但带有一些 C++ cmets,第三个带有空结构。

这是最后一个解析失败,我不明白为什么。在我用于结构StructType 的语法中,我首先检查一个可选的typedef,然后检查关键字struct 和可以附加或不附加的 字符,然后搜索 字符后跟一个变量名,后跟;

我不明白错误在哪里。我在解析空结构时做错了什么?

【问题讨论】:

【参考方案1】:

几件事:

船长由周围的上下文继承 标题保护中的“令牌”周围没有lexeme[],因此它会匹配包括typedefstruct,因为space 还包括行尾。

你可以简化事情:

Live On Coliru

#include <iostream>
#include <boost/spirit/home/x3.hpp>
#include <iomanip>

int main() 
    namespace x3 = boost::spirit::x3;

    // Parse "#if !defined XXX_X_" or "'#ifndef X_X"
    auto const Ifndef               = (x3::lit('#') >> (x3::lit("ifndef") | (x3::lit("if") >> x3::lit("!defined"))));
    auto const HeaderGuardFirstRow  = Ifndef >> x3::lexeme[+(x3::alnum | '_')];

    // Parse "#define XXX_X" or "#  define XXX_X"
    auto const Define               = (x3::lit('#') >> x3::lit("define"));
    auto const HeaderGuardSecondRow = Define >> x3::lexeme[+(x3::alnum | '_')];

    // Parse
    // "
    //  #if !defined XXX_X_
    //  #define XXX_X
    // "
    auto const HeaderGuardBegin     = HeaderGuardFirstRow >> HeaderGuardSecondRow;

    // Parse "#endif" or "#  endif"
    auto const HeaderGuardEnd       = x3::lit('#') >> (x3::lit("endif"));

    // Parse variable name like "xxx" or "my_var"
    auto const VariableName         = x3::lexeme[x3::char_("a-zA-Z_") >> *(x3::alnum | x3::lit("_"))];

    // Skipper for C++ comments (nested /* */ are not handled for now)
    auto const SingleLineComment    = "//" >> *(x3::char_ - x3::eol) >> (x3::eol | x3::eoi);
    auto const BlockComment         = "/*" >> *(x3::char_ - "*/") >> "*/";
    auto const Skipper              = SingleLineComment | BlockComment | x3::ascii::space;

    auto const StructType = 
        -x3::lit("typedef") 
        >> "struct" >> '' >> '' >> VariableName
        >> ";"
        ;

    // Header grammar.
    auto grammar = HeaderGuardBegin >> *StructType >> HeaderGuardEnd;

    for (std::string const data : 
            R"xx(
    #if !defined XXX_H
    #define XXX_H
    #endif
  )xx",
            R"xx(
    #if !defined XXX_H
    // Single line comment
    #define XXX_H
    #endif // !XXX_H
  )xx",
            R"xx(
    #if !defined XXX_H
    #define XXX_H
    typedef struct 
        // aloha
     MyStruct;

    typedef struct  /* caramba */  MyOtherStruct
;
    #endif
  )xx" ) 
        auto f = data.begin(), l = data.end();
        std::cout << "Parsing " << std::quoted(data) << "\n";
        if (phrase_parse(f, l, grammar, Skipper)) 
            std::cout << "Parsed\n";
         else 
            std::cout << "Failed to parse\n";
        

        if (f!=l) 
            std::cout << "Remaining unparsed: " << std::quoted(std::string(f,l)) << "\n";
        
    

打印

Parsing "
    #if !defined XXX_H
    #define XXX_H
    #endif
  "
Parsed
Parsing "
    #if !defined XXX_H
    // Single line comment
    #define XXX_H
    #endif // !XXX_H
  "
Parsed
Parsing "
    #if !defined XXX_H
    #define XXX_H
    typedef struct 
        // aloha
     MyStruct;

    typedef struct  /* caramba */  MyOtherStruct
;
    #endif
  "
Parsed

【讨论】:

【参考方案2】:

sehe 在保存您的代码方面做得非常出色。但是,因为我对你是什么有了自己的想法,所以我想我会发布。我确实从中学到了船长可能非常复杂。另一方面,我通常跳过omit

您似乎想扔掉所有# 起跑线和cmets,我把它归结为。在某些时候,我确定您将解析为一个属性。所以我从结构名称开始,因此是 dest 字符串。

只是另一种看待它的方式。

#include <iostream>
#define BOOST_SPIRIT_X3_DEBUG
#include <boost/spirit/home/x3.hpp>
using namespace boost::spirit::x3;

// Parse all/skip"#..."
auto const def = lit("#") >> omit[lexeme[*char_("a-zA-Z_! ")]];
// Skipper for C++ comments (nested /* */ are not handled for now)
auto const comment = ("//" >> omit[*(char_ - eol)]) | ("/*" >> omit[*(char_ - "*/")] >> "*/");
auto const skipper = *(def | comment | space);

// Parse variable name like "xxx" or "my_var"
auto const name = rule<struct name, std::string>("name") = *char_("a-zA-Z_");

auto const struct_rule = lit("typedef") >> "struct" >> '' >> omit[*(char_-'')] >> '' >> name >> ';';

auto const final = skipper >> -struct_rule >> skipper;

void parse(char* in)

    std::string str(in);
    auto it = str.begin();
    std::string dest;
    bool r = phrase_parse(it, str.end(), final, space, dest);// , dest);
    std::cout << std::boolalpha << "r: " << r << std::endl
        << std::string(it, str.end()) << std::endl
        << "DEST: " << dest << std::endl;


int main()

    parse(R"xx(
        #if !defined XXX_H
        #define XXX_H
        #endif
      )xx");

    parse(R"xx(
        #if !defined XXX_H
        // Single line comment
        #define XXX_H
        #endif // !XXX_H
      )xx");

    parse(R"xx(
        #if !defined XXX_H
        #define XXX_H
        typedef struct 
         MyStruct;
        #endif
      )xx");
    return 0;

打印:

r: true

DEST:
r: true

DEST:
<name>
  <try> MyStruct;\n\t\t#endif\n</try>
  <success>;\n\t\t#endif\n\t  </success>
  <attributes>[M, y, S, t, r, u, c, t]</attributes>
</name>
r: true

DEST:   MyStruct

【讨论】:

谢谢。我想扔掉标头保护,但我需要定义,因为它们的值可以严格地用作数组大小。但我想一步一步来。 您是否考虑过使用 libclang 来做您需要的事情,而不是重新发明一个众所周知的复杂***? @lakeweb 如果我们允许简化,您可以考虑改用seek[]:coliru.stacked-crooked.com/a/f7176342d826e00d 谢谢@sehe。 seek 更适合这种工作。

以上是关于无法使用 Boost Spirit X3 解析空的 C++ 结构的主要内容,如果未能解决你的问题,请参考以下文章

Boost Spirit x3 -- 使用其他解析器参数化解析器

Boost Spirit X3:跳过啥都不做的解析器

Boost.Spirit.X3 中的船长

Boost Spirit X3的上下文是啥?

boost::spirit 算术公式解析器无法编译

(如何)我可以在不安装完整的 boost 库的情况下使用 boost::spirit X3 吗?