flex与bison是编译器设计工具。这里的编译器为广义,其中包括通常的编译器、脚本解析器等,须要进行语言结构解析来得出意义的程序。正则表达式
当咱们须要用一个语言来设计一款编译器时,须要考虑太多设计重心外的东西,如内存管理、模块设计、字符识别等,flex与bison就很好地为咱们处理了这些事情,将设计重心放在词法与语法分析上。函数
flex提供词法分析,采用的是正则表达式匹配字符。工具
bison提供语法分析,采用A : B | C ;的方式进行语法设计。flex
具体的规则《flex 与 bison》有很详细的描述。spa
首先,对于语言的解析,是以流(stream)的方式进行的。设计
假定咱们词法与语法都已经设定好指针
if A > B then C = 0;内存
对于以上句子大概会进行如此解析:编译器
1. if 词法分析断定为 IF,返回标记内存管理
2. 语法分析接到标记,存放到栈内,发现找不到适合的语法来进行归约,返回进行词法分析
3. A 词法分析断定为NAME,返回标记
4. 语法分析接到标记,存放到栈内发现NAME能被归约成exp,NAME出栈,exp入栈
5. 如今栈内有IF exp,语法分析发现找不到适合的语法来进行归约,返回进行词法分析
6. > 词法分析断定为CMP,返回标记
7. 语法分析接到标记,存放到栈内,发现找不到适合的语法来进行归约,返回进行词法分析
8. B 词法分析断定为NAME,返回标记
9. 语法分析接到标记,存放到栈内发现NAME能被归约成exp,NAME出栈,exp入栈
10.语法分析接到标记,存放到栈内,发现栈内有exp CMP exp,能够规约为exp,因而进行归约,exp放回栈内,而后发现有IF exp,没法归约,返回词法分析
...
*分析方法采用的是lrlr(1),这也是bison的通常作法,上面分析为了方便省去向前查看的步骤。
上述例子能够看出只要过一遍字符流,经过词法分析与语法分析的交替进行,就能够最终归约句子。
为了方便维护,语法分析时都会进行语法树构建,如上述例子:
当NAME被归约成exp时,建立节点,节点须要保存NAME所在符号表的位置,
当exp CMP exp被归约成exp时,建立节点,节点须要保存做exp节点的指针为左子树,保持右exp节点的指针为右子树,保存CMP类型
通常的编译器都可以自定义变量,如上述例子的A、B、C,这些符号会在词法分析时被判别为自定义变量。
自定义变量须要进行维护,能够用哈希表保存自定义变量。
自定义变量的名称在词法分析时,就能够加到哈希表内。
另外自定义变量包含比较多的信息,如类型、变量值等,若是是函数,那么还会包含函数体指针,这些在词法分析时是没法获得的。而在词法分析时,只是构建语法树,并不适于进行信息填充。可是在计算时就会用到哈希表内的变量。
假设句子是一行一行执行的,那么在碰到'\n'符合时就会执行计算,
如上例:C = 0;
计算时会把C在哈希表内的变量值填充为0;