如何处理ANTLR 3中字符串文本中的转义序列？

string escaping java antlr

2022-09-02 03:52:44

我一直在查看ANTLR v3文档（以及我可靠的“The Definitive ANTLR reference”副本），但我似乎找不到一种在字符串文本中实现转义序列的干净方法（我目前正在使用Java目标）。我希望能够做这样的事情：

fragment 
ESCAPE_SEQUENCE
    : '\\' '\'' { setText("'"); }
    ;

STRING  
    : '\'' (ESCAPE_SEQUENCE | ~('\'' | '\\'))* '\''
      { 
        // strip the quotes from the resulting token
        setText(getText().substring(1, getText().length() - 1));
      } 
    ;

例如，我希望输入标记 “” 成为字符串 “”。'Foo\'s House'Foo's House

不幸的是，片段中的调用设置了整个令牌的文本，这显然不是我想要的。setText(...)ESCAPE_SEQUENCESTRING

有没有办法在不添加方法的情况下实现此语法，以返回结果字符串并手动替换转义序列（例如，使用类似于规则中的内容）？setText(escapeString(getText()))STRING

答案 1

以下是我如何在我编写的JSON解析器中完成此操作。

STRING      
@init{StringBuilder lBuf = new StringBuilder();}
    :   
           '"' 
           ( escaped=ESC {lBuf.append(getText());} | 
             normal=~('"'|'\\'|'\n'|'\r')     {lBuf.appendCodePoint(normal);} )* 
           '"'     
           {setText(lBuf.toString());}
    ;

fragment
ESC
    :   '\\'
        (   'n'    {setText("\n");}
        |   'r'    {setText("\r");}
        |   't'    {setText("\t");}
        |   'b'    {setText("\b");}
        |   'f'    {setText("\f");}
        |   '"'    {setText("\"");}
        |   '\''   {setText("\'");}
        |   '/'    {setText("/");}
        |   '\\'   {setText("\\");}
        |   ('u')+ i=HEX_DIGIT j=HEX_DIGIT k=HEX_DIGIT l=HEX_DIGIT
                   {setText(ParserUtil.hexToChar(i.getText(),j.getText(),
                                                 k.getText(),l.getText()));}

        )
    ;

答案 2

对于ANTLR4，Java目标和标准转义字符串语法，我使用了一个专用的单例类：CharSupport来翻译字符串。它在 antlr API 中可用：

STRING          :   '"' 
                (   ESC  
                |   ~('"'|'\\'|'\n'|'\r') 
                )* 
                    '"' { 
                        setText( 
                            org.antlr.v4.misc.CharSupport.getStringFromGrammarStringLiteral(
                                getText()
                            )
                        ); 
                    }
                ;

正如我在 V4 文档和实验中看到的那样，@init在词法分析器部分中不再受支持！