elalr 语法分析代码&正则生成器(将正则编译成易语言)

sss281 · 发表于 2020-8-21 13:58:07

这是一段识别gbk中文和英文的标识符正则表达式
([a-zA-Z_]|[\x81-\xfe][\x40-\xfe])([a-zA-Z0-9_]|[\x81-\xfe][\x40-\xfe])*
原理是通过正则表达式的AST直接构造DFA自动机

编译成易语言结果为

子程序名	返回值类型	公开	备注
RegexMatch	整数型
参数名	类型	参考	可空	数组	备注
代码	文本型
代码位置	整数型

变量名	类型	静态	数组	备注
最后符号	整数型
最后位置	整数型
状态	整数型
读入	整数型

读入＝ 0
状态＝ 0
最后符号＝ 0
最后位置＝代码位置

循环判断首 ()

读入＝到字节 (取代码 (代码, 代码位置))

代码位置＝代码位置 + 1

如果真 (状态＝ 0)

如果真 (读入 ≥ 65 且读入 ≤ 90)

状态＝ 1

到循环尾 ()

如果真 (读入 ≥ 95 且读入 ≤ 95)

状态＝ 1

到循环尾 ()

如果真 (读入 ≥ 97 且读入 ≤ 122)

状态＝ 1

到循环尾 ()

如果真 (读入 ≥ 129 且读入 ≤ 254)

状态＝ 2

到循环尾 ()

跳出循环 ()

如果真 (状态＝ 1)

最后位置＝代码位置

最后符号＝ 1

如果真 (读入 ≥ 48 且读入 ≤ 57)

状态＝ 1

到循环尾 ()

如果真 (读入 ≥ 65 且读入 ≤ 90)

状态＝ 1

到循环尾 ()

如果真 (读入 ≥ 95 且读入 ≤ 95)

状态＝ 1

到循环尾 ()

如果真 (读入 ≥ 97 且读入 ≤ 122)

状态＝ 1

到循环尾 ()

如果真 (读入 ≥ 129 且读入 ≤ 254)

状态＝ 3

到循环尾 ()

跳出循环 ()

如果真 (状态＝ 2)

如果真 (读入 ≥ 64 且读入 ≤ 254)

状态＝ 1

到循环尾 ()

跳出循环 ()

如果真 (状态＝ 3)

如果真 (读入 ≥ 64 且读入 ≤ 254)

状态＝ 1

到循环尾 ()

跳出循环 ()

循环判断尾 (真)
代码位置＝最后位置－ 1
返回 (最后符号)

.子程序 RegexMatch, 整数型<br />
.参数 代码, 文本型, 参考<br />
.参数 代码位置, 整数型, 参考<br />
.局部变量 最后符号, 整数型<br />
.局部变量 最后位置, 整数型<br />
.局部变量 状态, 整数型<br />
.局部变量 读入, 整数型<br />
读入 ＝ 0<br />
状态 ＝ 0<br />
最后符号 ＝ 0<br />
最后位置 ＝ 代码位置<br />
.循环判断首 ()<br />
    读入 ＝ 到字节 (取代码 (代码, 代码位置))<br />
    代码位置 ＝ 代码位置 + 1<br />
    .如果真 (状态 ＝ 0)<br />
        .如果真 (读入 ≥ 65 且 读入 ≤ 90)<br />
            状态 ＝ 1<br />
            到循环尾 ()<br />
        .如果真结束<br />
        .如果真 (读入 ≥ 95 且 读入 ≤ 95)<br />
            状态 ＝ 1<br />
            到循环尾 ()<br />
        .如果真结束<br />
        .如果真 (读入 ≥ 97 且 读入 ≤ 122)<br />
            状态 ＝ 1<br />
            到循环尾 ()<br />
        .如果真结束<br />
        .如果真 (读入 ≥ 129 且 读入 ≤ 254)<br />
            状态 ＝ 2<br />
            到循环尾 ()<br />
        .如果真结束<br />
        跳出循环 ()<br />
    .如果真结束<br />
    .如果真 (状态 ＝ 1)<br />
        最后位置 ＝ 代码位置<br />
        最后符号 ＝ 1<br />
        .如果真 (读入 ≥ 48 且 读入 ≤ 57)<br />
            状态 ＝ 1<br />
            到循环尾 ()<br />
        .如果真结束<br />
        .如果真 (读入 ≥ 65 且 读入 ≤ 90)<br />
            状态 ＝ 1<br />
            到循环尾 ()<br />
        .如果真结束<br />
        .如果真 (读入 ≥ 95 且 读入 ≤ 95)<br />
            状态 ＝ 1<br />
            到循环尾 ()<br />
        .如果真结束<br />
        .如果真 (读入 ≥ 97 且 读入 ≤ 122)<br />
            状态 ＝ 1<br />
            到循环尾 ()<br />
        .如果真结束<br />
        .如果真 (读入 ≥ 129 且 读入 ≤ 254)<br />
            状态 ＝ 3<br />
            到循环尾 ()<br />
        .如果真结束<br />
        跳出循环 ()<br />
    .如果真结束<br />
    .如果真 (状态 ＝ 2)<br />
        .如果真 (读入 ≥ 64 且 读入 ≤ 254)<br />
            状态 ＝ 1<br />
            到循环尾 ()<br />
        .如果真结束<br />
        跳出循环 ()<br />
    .如果真结束<br />
    .如果真 (状态 ＝ 3)<br />
        .如果真 (读入 ≥ 64 且 读入 ≤ 254)<br />
            状态 ＝ 1<br />
            到循环尾 ()<br />
        .如果真结束<br />
        跳出循环 ()<br />
    .如果真结束<br />
.循环判断尾 (真)<br />
代码位置 ＝ 最后位置 － 1<br />
返回 (最后符号)

下面是elalr解析形如 add(1, add(...) , ...) + (12*4) *4 这样的表达式的文法
通过这样的文法 LALR(1)可以描述几乎所有的CFG文法也就是说可以解析 HTML JSON XML C/C++ JAVA 基本上所有的语言网上也有很多他们的文法可以比着写一下

%左结合 '+' '-' '*' '/'; //定义优先级与结合性

%开始符表达式; // 这句的意思是文法的开始就是 '表达式'

表达式 -> 表达式 '+' 表达式  [表达式_相加] |  // 这是表达式的5个产生式也就是说表达式可以用5种格式组成 [] 中包括的内容就是遇到这个形式的产生式将会调用什么子程序
            表达式 '-' 表达式 [表达式_相减] |
            表达式 '*' 表达式  [表达式_相乘] |
            表达式 '/' 表达式  [表达式_相除] |
            '(' 表达式 ')'       [表达式_括号] ;

表达式 -> 数字 | 函数调用 ; // 这里是表达式的另外两个产生式表达式可以是函数调用也可以是数字

数字 -> "[0-9]+" [表达式_值] ;

函数调用 -> 标识符 '(' 参数列表 ')' [表达式_函数调用] ; // 函数调用的产生式用来表述函数调用的形式

参数列表 -> 参数列表 ',' 表达式 [参数表_加入] |  // 这个产生式是左递归的只要后面出现 ',' 就会调用参数表_加入向数据中加入后面的表达式
               表达式 [参数表_创建] ;

标识符 -> "([a-zA-Z_]|[\x81-\xfe][\x40-\xfe])([a-zA-Z0-9_]|[\x81-\xfe][\x40-\xfe])*"; // 中文标识符

%无结合为没有结合性但会定义优先级
%左结合为左结合性以及定义优先级
%右结合为左结合性以及定义优先级

'xxx' 单引号包裹的是文本字面量如 'if' 注意:内含转义
"xxx" 双引号包裹的是正则表达式
bracket
支持的正则语法比较简单但也可以描述大部分正则了不支持negative bracket
() . * + ? []

Elalr.zip (41.14 KB, 下载次数: 39)