【PHP7源码学习】2019-03-21 AST

时间 2019-11-10

标签 PHP7源码学习 ast 栏目 PHP 繁體版

原文原文链接

baiyanphp

所有视频：https://segmentfault.com/a/11...node

原视频地址：http://replay.xesv5.com/ll/24...segmentfault

引入

在【PHP源码学习】2019-03-20 PHP词法分析这篇笔记中，咱们谈到在PHP7中，会依次进行词法分析（将代码切成一个一个小段）、语法分析（分析代码的语法结构）、而后会生成一颗抽象语法树（AST）。
为何要有AST这种东西呢？由于语法分析以后所获得的的语句或表达式为文本类型的信息，它对人友好，可是对计算机并不友好，因此须要将其转换成合适的数据结构，让计算机更加方便地对其进行解析，这个数据结构就是AST。
例：a = b + c，怎么用抽象语法树来表达？

那么使用中序遍历就能够获得上述表达式。

拓展：对于树的中序遍历，有递归与非递归两种方式：数组

递归中序遍历很简单，递归访问左子树、根节点、右子树便可

非递归中序遍历：借助栈数据结构

- 碰到等号压栈，而后往左子树走
- 将a压栈，a没有左右子树，a出栈（a）
- 等号出栈（a =）
- 将它的右子树加号压栈
- 加号有左子树，将b压栈
- b没有左右子树，b出栈（a = b）
- 加号出栈（a = b +）
- 加号有右子树c，将c压栈
- c没有左右子树，c出栈（a = b + c）

树的层序遍历：借助队列，此处不展开

回到AST，那么若是在PHP中，让你去实现一个AST，你会怎么实现？
AST结点的设计初版：

struct Tree {
    char type           //结点类型，表示是运算符仍是操做数
    Tree *left           //左孩子
    Tree *right        //右孩子
}

存在的问题：由于不是全部表达式都是二元表达式，故不能够所有都用二叉树表示（如foreach循环中foreach($a as $k => $v)至少需3个结点来表示$a/$k/$v等词法单元），故须要在此基础上作一些扩展。
第二版：

struct Tree {
    char type           //结点类型，表示是运算符仍是操做数
    int children        //有多少个孩子
    Tree child[]        //用一个数组存储全部孩子
}

PHP中AST的重要结构与概念

struct _zend_ast {
    zend_ast_kind kind; /* 结点类型，至关于咱们上面的type */
    zend_ast_attr attr; /* 先忽略 */
    uint32_t lineno;    /* 行号（进行语法分析的时候须要记录代码所在行号） */
    zend_ast *child[1]; /* 柔性数组，存储孩子结点*/
};

这样一看，好像并无存储有多少个孩子的字段。注意这个kind字段，它是zend_ast_kind类型，看下这个类型的定义：

typedef uint16_t zend_ast_kind;

它是一个uint16类型，足以存储全部类型了，那么具体有哪些类型呢？
在PHP中，AST的结点是按照以下代码所示分类存储的，这些分类用枚举类型来表示：

enum _zend_ast_kind {
    /* special nodes 特殊类型结点*/
    ZEND_AST_ZVAL = 1 << ZEND_AST_SPECIAL_SHIFT, （1 << 6 = 64）
    ZEND_AST_ZNODE, （65）

    /* declaration nodes 定义类型结点*/
    ZEND_AST_FUNC_DECL,
    ZEND_AST_CLOSURE,
    ZEND_AST_METHOD,
    ZEND_AST_CLASS,

    /* list nodes LIST类型结点*/
    ZEND_AST_ARG_LIST = 1 << ZEND_AST_IS_LIST_SHIFT,（1 << 7 = 128）
    ZEND_AST_ARRAY,
    ZEND_AST_ENCAPS_LIST,
    ZEND_AST_EXPR_LIST,
    ZEND_AST_STMT_LIST,
    ZEND_AST_IF,
    ZEND_AST_SWITCH_LIST,
    ZEND_AST_CATCH_LIST,
    ZEND_AST_PARAM_LIST,
    ZEND_AST_CLOSURE_USES,
    ZEND_AST_PROP_DECL,
    ZEND_AST_CONST_DECL,
    ZEND_AST_CLASS_CONST_DECL,
    ZEND_AST_NAME_LIST,
    ZEND_AST_TRAIT_ADAPTATIONS,
    ZEND_AST_USE,

    /* 0 child nodes 0个孩子结点*/
    ZEND_AST_MAGIC_CONST = 0 << ZEND_AST_NUM_CHILDREN_SHIFT,（0 << 8 = 0）
    ZEND_AST_TYPE,

    /* 1 child node 1个孩子结点*/
    ZEND_AST_VAR = 1 << ZEND_AST_NUM_CHILDREN_SHIFT,（1 << 8 = 256）
    ZEND_AST_CONST,
    ZEND_AST_UNPACK,
    ZEND_AST_UNARY_PLUS,
    ZEND_AST_UNARY_MINUS,
    ZEND_AST_CAST,
    ZEND_AST_EMPTY,
    ZEND_AST_ISSET,
    ZEND_AST_SILENCE,
    ZEND_AST_SHELL_EXEC,
    ZEND_AST_CLONE,
    ZEND_AST_EXIT,
    ZEND_AST_PRINT,
    ZEND_AST_INCLUDE_OR_EVAL,
    ZEND_AST_UNARY_OP,
    ZEND_AST_PRE_INC,
    ZEND_AST_PRE_DEC,
    ZEND_AST_POST_INC,
    ZEND_AST_POST_DEC,
    ZEND_AST_YIELD_FROM,

    ZEND_AST_GLOBAL,
    ZEND_AST_UNSET,
    ZEND_AST_RETURN,
    ZEND_AST_LABEL,
    ZEND_AST_REF,
    ZEND_AST_HALT_COMPILER,
    ZEND_AST_ECHO,
    ZEND_AST_THROW,
    ZEND_AST_GOTO,
    ZEND_AST_BREAK,
    ZEND_AST_CONTINUE,

    /* 2 child nodes 2个孩子结点*/
    ZEND_AST_DIM = 2 << ZEND_AST_NUM_CHILDREN_SHIFT,（2 << 8 = 512）
    ZEND_AST_PROP,
    ZEND_AST_STATIC_PROP,
    ZEND_AST_CALL,
    ZEND_AST_CLASS_CONST,
    ZEND_AST_ASSIGN,
    ZEND_AST_ASSIGN_REF,
    ZEND_AST_ASSIGN_OP,
    ZEND_AST_BINARY_OP,
    ZEND_AST_GREATER,
    ZEND_AST_GREATER_EQUAL,
    ZEND_AST_AND,
    ZEND_AST_OR,
    ZEND_AST_ARRAY_ELEM,
    ZEND_AST_NEW,
    ZEND_AST_INSTANCEOF,
    ZEND_AST_YIELD,
    ZEND_AST_COALESCE,

    ZEND_AST_STATIC,
    ZEND_AST_WHILE,
    ZEND_AST_DO_WHILE,
    ZEND_AST_IF_ELEM,
    ZEND_AST_SWITCH,
    ZEND_AST_SWITCH_CASE,
    ZEND_AST_DECLARE,
    ZEND_AST_USE_TRAIT,
    ZEND_AST_TRAIT_PRECEDENCE,
    ZEND_AST_METHOD_REFERENCE,
    ZEND_AST_NAMESPACE,
    ZEND_AST_USE_ELEM,
    ZEND_AST_TRAIT_ALIAS,
    ZEND_AST_GROUP_USE,

    /* 3 child nodes 3个孩子结点*/
    ZEND_AST_METHOD_CALL = 3 << ZEND_AST_NUM_CHILDREN_SHIFT,
    ZEND_AST_STATIC_CALL,
    ZEND_AST_CONDITIONAL,

    ZEND_AST_TRY,
    ZEND_AST_CATCH,
    ZEND_AST_PARAM,
    ZEND_AST_PROP_ELEM,
    ZEND_AST_CONST_ELEM,

    /* 4 child nodes 4个孩子结点*/
    ZEND_AST_FOR = 4 << ZEND_AST_NUM_CHILDREN_SHIFT,
    ZEND_AST_FOREACH,
};

先忽略上面特殊节点、定义结点和LIST类型结点这几个类型，主要关注下面0个子结点、1个子结点的类型，这样，咱们根据_zend_ast中存储的kind数值，再对照这个类型表，就能够知道它有几个子结点了。
咱们再看LIST类型，它是怎么存储子结点数量的呢？会转成一个专门的结构体用来存储LIST类型的结点：

/* Same as zend_ast, but with children count, which is updated dynamically */
/*与zend_ast结点的功能相同可是多了一个子结点的计数，它会被动态地更新*/
typedef struct _zend_ast_list {
    zend_ast_kind kind;
    zend_ast_attr attr;
    uint32_t lineno;
    uint32_t children;
    zend_ast *child[1];
} zend_ast_list;

咱们看这个结构体，除了uint32_t类型的children子结点计数字段，其他与咱们上述zend_ast结构体一摸同样。
这样，在基本的zend_ast结构体中，kind字段只须要存一个数字，表明它是什么类型，就能够直接得出是LIST类型（孩子结点个数存在对应的zend_ast_list结构体中）有0个、1个、2个孩子结点等等。
再关注特殊类型中的ZEND_AST_ZVAL类型，它表明AST中结点变量或者常量的值（如变量$a的值就为字符串"a"，常量1的值为1，均存在这个zval中，下文会讲）

/* Lineno is stored in val.u2.lineno */
/* Lineno 字段存储在zval中的 val.u2.lineno中 */
typedef struct _zend_ast_zval {
    zend_ast_kind kind;
    zend_ast_attr attr;
    zval val;
} zend_ast_zval;

最后剩下的就是定义类型，包括类、函数等定义，会转成以下结构存储定义类型的信息：

/* Separate structure for function and class declaration, as they need extra information. */
/* 为函数和类设计的特殊结构，它们须要额外的描述信息 */
typedef struct _zend_ast_decl {
    zend_ast_kind kind;
    zend_ast_attr attr; /* Unused - for structure compatibility */
    uint32_t start_lineno; //类和函数是一个区间，因此记录开始行号和结束行号
    uint32_t end_lineno;
    uint32_t flags;
    unsigned char *lex_pos;
    zend_string *doc_comment;
    zend_string *name;
    zend_ast *child[4];
} zend_ast_decl;

PHP中AST实现示例

简单的赋值与表达式示例

咱们看下面一段PHP代码，看下它的AST结构是什么样的：

<?php
$a = 1;
$b = $a + 2;

利用gdb调试这段代码，并在zend_compile处打一个断点。这里会进行词法分析和语法分析（注意词法分析和语法分析是同时执行的，解析出一个token就开始进行语法分析，而不是串行执行的），并查看compiler_globals.ast字段，这个字段就是生成的抽象语法树指针了，咱们打印它的内容：

咱们看到这里的kind的值为132，对应 ZEND_AST_STMT_LIST（表达式）类型，属于LIST这个大类，它就是咱们的根节点了。然而LIST是专门用zend_ast_list结构体来表示的，因此咱们强转一下：

能够看到，它有两个孩子结点，发现两个孩子的kind值均为517，即ZEND_AST_ASSIGN（赋值）类型。这里咱们选择第一个kind值为517的结点，它属于2 child nodes大类，说明它又有两个孩子结点，打印它的第一个孩子结点（后面会打印第二个孩子结点），咱们按照这一个结点深度优先去调试：

它的kind值是256，表明ZEND_AST_VAR（变量）类型，属于1 child nodes大类，那么咱们继续深度优先打印它的惟一一个孩子结点：

它的kind值是64，表明ZEND_AST_ZVAL类型，属于特殊类型。上面咱们讲过，PHP使用一个zend_ast_zval结构体来专门保存这种类型，强转一下：

它的kind值是64，zval字段中能够看到type值是6（字符串类型），咱们深刻看一下这个zend_string的内容：

能够看到它的字符串值是”a“
回到上面第二个加粗的部分，咱们此次打印第二个孩子结点:

它的kind值也是64，属于ZEND_AST_ZVAL类型，一样将其强转一下：

咱们发现，它的type值是4（整型），那么咱们直接看zval中的lval字段，值为1，说明它直接存储的是$a = 1;这个表达式中的常量值1
那么咱们画出如今的AST结构图（AST结点以”类型（值）“的形式表示，下同）：

目前为止，第二个kind值为517类型的结点咱们尚未看，咱们继续往下走：

咱们发现它的kind值是256，也是一个ZEND_AST_VAR（变量）类型，它有一个孩子结点，打印：

一样地，它的惟一一个孩子结点也是一个ZEND_AST_ZVAL类型，强转并打印其中的zval字段，发现其type是字符串类型，咱们继续打印该字符串的内容：

能够看到它的字符串值是”b“
咱们能够画出当前AST的结构：

而后继续打印kind为517的第二个孩子结点：

它的kind是520，查表获得它是ZEND_AST_BINARY_OP类型，它也属于2 child nodes大类，有两个孩子结点，它表明二元操做（加减乘除等）。因此到底表示加减乘除中的哪个呢，这时候须要它的attr字段来细化究竟是哪一种运算，这里attr = 1表明加法运算。那么咱们继续打印其中一个孩子结点：

它的子结点是256，即ZEND_AST_VAR（变量）类型，打印其惟一一个孩子结点，仍为ZEND_AST_ZVAL类型，强转并打印其内容为”a“
咱们看kind是520的第二个孩子结点：

咱们发现它就是一个ZEND_AST_ZVAL类型，值为2
那么咱们能够画出完整的AST：

那么经过中序遍历，就能够获得最终的代码

带括号表达式示例

咱们看下面一段带括号的PHP表达式代码，看下它的AST结构：

<?php
$a = (1+2)*3;

咱们利用和上方同样的方式，访问它的根节点，发现也是一个LIST类型，有1个子结点，这个子节点的类型是ZEND_AST_ASSIGN，它有2个孩子结点，咱们打印其中一个孩子结点：

它的类型是ZEND_AST_VAR类型，有一个孩子结点，继续打印：

它的类型也是一个ZEND_AST_ZVAL类型，其类型是字符串，值为a
那么能够画出当前AST的结构：

回到517（ZEND_AST_ASSIGN）的另外一个孩子结点，观察它的值：

能够看到，它是ZEND_AST_BINARY_OP类型，attr值为3，表明*，它有2个孩子结点，将他们所有打印出来：

能够看到，第一个孩子是一个ZEND_AST_BINARY_OP类型，表明+，它也有两个孩子结点，分别为ZEND_AST_ZVAL，值为1和2，而第二个孩子就是值为3的ZEND_AST_ZVAL。这里没有表示括号的结点，是由于AST已经表示了该表达式的优先级，因此无需额外存储，如今咱们能够画出AST的完整结构：

视频中还有foreach的案例，限于篇幅再也不贴图，其分析方法都是相似的，只是多了几个新的类型
在PHP中，任何代码均可以被转成惟一的一个AST，根节点每每都是132（LIST）类型