正则表达式引擎执行原理——从未如此清晰！

目前愈来愈多的网站、编辑器、编程语言都已支持一种叫“正则表达式”的字符串查找“公式”，有过编程经验的同窗都应该了解正则表达式（Regular Expression 简写regex）是什么东西，它是一种字符串匹配的模式（pattern），更像是一种逻辑公式。

使用正则表达式去匹配字符串Hello World 中的 Hello
伪代码：/Hello/, "Hello World"
输出：Hello

如何写好一篇关于 正则表达式 的文章，我思考了一周的时间，从未有一篇文章能让猪哥如此费神。

由于我以为正则表达式 ：难记忆、难描述、广而深且不受重视，有人说正则表达式既好写也难写！

1. 好写：无非写一些经常使用、实用的案例，说实话大家每一个人都能写出这种：在网上百度一下而后结合一点本身的实际经验，一篇文章就出来了。
2. 难写：不少人都认为正则简单，不用记，要用就百度一下。可是绝大多数人了解的只是正则的一个小面，真正的精髓却不多关注！

猪哥但愿你们能了解到正则的知识点其实很是很是多，尤为是正则引擎执行原理以及正则优化，这算是正则表达式的进阶知识点，面试中也可能会被问到。

1、起源与发展

咱们在学习一门技术的时候有必要了解其起源与发展过程，这对咱们去理解技术自己有必定的帮助！

20世纪40年代：正则表达式最初的想法来自两位神经学家：沃尔特·皮茨与麦卡洛克，他们研究出了一种用数学方式来描述神经网络的模型。

1956年：一位名叫Stephen Kleene的数学科学家发表了一篇题目是《神经网事件的表示法》的论文，利用称之为正则集合的数学符号来描述此模型，引入了正则表达式的概念。正则表达式被做为用来描述其称之为“正则集的代数”的一种表达式，于是采用了“正则表达式”这个术语。

1968年：C语言之父、UNIX之父肯·汤普森把这个“正则表达式”的理论成果用于作一些搜索算法的研究，他描述了一种正则表达式的编译器，因而出现了应该算是最先的正则表达式的编译器qed（这也就成为后来的grep编辑器）。

Unix使用正则以后，正则表达式不断的发展壮大，而后大规模应用于各类领域，根据这些领域各自的条件须要，又发展出了许多版本的正则表达式，出现了许多的分支。咱们把这些分支叫作“流派”。

1987年：Perl语言诞生了，它综合了其余的语言，用正则表达式做为基础，开创了一个新的流派，Perl流派。以后不少编程语言如：Python、Java、Ruby、.Net、PHP等等在设计正则式支持的时候都参考Perl正则表达式。

到这里咱们也就知道为何众多编程语言的正则表达式基本同样，由于他们都师从Perl。

注：Perl语言是一种擅长处理文本的语言，但因晦涩语法和古怪符号不利于理解和记忆致使不少开发者并不喜欢。

2、语法

完整的正则表达式由两种字符构成：特殊字符（元字符）和普通字符。

ps：元字符表示正则表达式功能的最小单位，如 * ^ $ \d 等等

关于语法部分猪哥并不想过多的讲解，给你们作一个详细的概括整理，供你们往后快速查找吧！

若是想系统学习正则表达式的语法部分，猪哥推荐 菜鸟教程： https://www.runoob.com/regexp...

3、匹配原理

匹配原理是猪哥想要重点讲解的部分，也但愿同窗们能够认真了解这部分的内容。

不少人以为开车不必了解车的构造原理，可是咱们学编程的还真的须要了解原理。

由于了解原理，你才能调优，这每每也是初级工程师与中高级工程师之间的差异点之一！

1.执行过程

正则表达是的执行，是由正则表达引擎编译执行的，大体的执行流程猪哥也花了一个流程图给你们看看。

这里给你们提一点就是：预编译（pre-use compile）

猪哥建议你们在生产环境中使用预编译功能，为何呢？

以Python语言内置re模块举例：

1. 经过re.compile(pattern)预编译返回Pattern对象，在后面代码中能够直接引用。
2. 经过re.match(pattern, text)即用编译，虽然也会有缓存Pattern对象，可是每次使用都须要去缓存中取出，比预编译多一步取操做。

猪哥也经过实际测试来 验证预编译 确实比 即用编译 要快！

pattern = r'http:\/\/(?:.?\w+)+'
text = '<a href="http://www.xxx.com">xxx.com</a>'

2.引擎

既然正则表达式由执行引擎执行，那咱们就来说讲正则表达式的引擎吧，这一块是重点，但愿你们仔细看看，弄懂了理解了才行！

正则引擎主要能够分为基本不一样的两大类：

1. DFA (Deterministic finite automaton) 肯定型有穷自动机
2. NFA (Non-deterministic finite automaton) 非肯定型有穷自动机

ps：固然还有一种引擎为：POSIX NFA，这是根据NFA引擎出的规范版本，但由于使用较少因此咱们这里也就不重点讲解。

这里须要和你们解释下何为肯定型、有穷、自动机这几个名词：

1. 肯定型与非肯定型：假设有一个字符串（text=abc）须要匹配，在没有编写正则表达式的前提下，就直接能够肯定字符匹配顺序的就是肯定型，不能肯定字符匹配顺序的则为非肯定型。
2. 有穷：有穷即表示有限的意思，这里表示有限次数内能获得结果。
3. 自动机：自动机即是自动完成，在咱们设置好匹配规则后由引擎自动完成，不须要人为干预！

根据上面的解释咱们可得知DFA引擎 和 NFA引擎 的区别就在于：在没有编写正则表达式的前提下，是否能肯定字符执行顺序！

DFA引擎执行原理：
为了你们能很清楚的理解DFA引擎执行原理，猪哥制做了一个简易的动态执行过程图给你们看看

根据上面的动图咱们能够得出DFA引擎的一些特色：

1. 文本主导：按照文本的顺序执行，这也就能说明为何DFA引擎是肯定型(deterministic)了，稳定！
2. 记录当前有效的全部可能：咱们看到当执行到(d|b)时，同时比较表达式中的d和b，因此会须要更多的内存。
3. 每一个字符只检查一次：这提升了执行效率，并且速度与正则表达式无关。
4. 不能使用反向引用等功能：由于每一个字符只检查一次，文本零宽度（位置）只记录当前比较值，因此不能使用反向引用、环视等一些功能！

NFA引擎执行原理：
猪哥一样画了一个简易的NFA引擎执行过程图方便你们理解

根据上面的动图咱们能够得出NFA引擎的一些特色：

1. 文表达式主导：按照表达式的一部分执行，若是不匹配换其余部分继续匹配，直到表达式匹配完成。
2. 会记录某个位置：咱们看到当执行到(d|b)时，NFA引擎会记录字符的位置（零宽度），而后选择其中一个先匹配。
3. 单个字符可能检查屡次：咱们看到当执行到(d|b)时，比较d后发现不匹配，因而NFA引擎换表达式的另外一个分支b，同时文本位置回退，从新匹配字符'b'。这也是NFA引擎是非肯定型的缘由，同时带来另外一个问题效率可能没有DFA引擎高。
4. 可实现反向引用等功能：由于具备回退这一步，因此能够很容易的实现反向引用、环视等一些功能！

针对两种引擎的区别，猪哥进行了比较

关于这两种引擎的总结，猪哥引用《精通正则表达式》书本中的一句话来归纳：

DFA（是电动机） 和NFA（汽油机） 都有很长的历史，不过，正如汽油机同样，NFA 的历史更长一些。也有些系统采用了混合引擎，它们会根据任务的不一样选择合适的引擎（甚至对同一表达式中的不一样部分采用不一样的引擎，以求得功能与速度之间的最佳平衡）。 ——《精通正则表达式》

3.回溯

做为绝大多数编程语言都选择的引擎——NFA (非肯定型有穷自动机) 引擎，咱们固然要再详细了解一下它的精髓——回溯。

动图中，咱们能够看到当某个正则分支匹配不成功以后，文本的位置须要回退，而后换另外一个分支匹配，而回退这步专业术语就叫：回溯。

回溯的原理相似咱们走迷宫时走过的路设置一个标志物，若是不对则原路返回，换另外一条路。

回溯机制不但须要从新计算正则表达式和文本的对应位置，也须要维护括号内的子表达式所匹配文本的状态（b匹配成功），保存到内存中以数字编号的组中，这就叫捕获组。

保存括号内的匹配结果以后，咱们在后面的正则表达式中就可使用，这就是咱们所说的反向引用，在上面的案例中只有一个捕获，因此$1=b。

回溯陷阱：讲到回溯必须提到回溯陷阱，它致使的结果就是机器CPU使用率爆满(超100%)，机器就卡死了。

举个例子：text=aaaaa，pattern=/^(a*)b$/，匹配过程大体是

1. (a*)：匹配到了文本中的aaaaa
2. 匹配正则中的b，可是失败，由于(a*)已经把text都吃了
3. 这时候引擎会要求(a*)吐出最后一个字符(a)，可是没法匹配b
4. 第二次是吐出倒数第二个字符(仍是a)，依然没法匹配
5. 就这样引擎会要求(a*)逐个将吃进去的字符都吐出来
6. 可是到最后都没法匹配b

这里的重点就在于 引擎会要求*匹配的东西一点一点吐回，咱们假设若是文本长度为几万，那引擎就要回溯几万次，这对机器的CPU来讲简直是灾难。

有些复杂的正则表达式可能有多个部分都要回溯，那回溯次数就是指数型。若是文本长度为500，一个表达式有两部分都要回溯，那次数多是500^2=25万次，这谁受得了！

关于更多更详细的回溯介绍，推荐你们能够阅读《精通正则表达式》这本书！

4、优化

编写巧妙的正则表达式不只仅是一种技能，并且仍是一种艺术。

上面咱们了解到，绝大多数的编程语言都采用的是NFA引擎，而NFA引擎的特色是：功能强大、但有回溯机制因此效率慢。因此咱们须要学习一些NFA引擎的一些优化技巧，以减小引擎回溯次数以及更直接的匹配到结果！

针对NFA引擎的可优化的点其实挺多的，为了方便你们记忆，猪哥也画幅结构图概括一下，方便你们收藏细看。

在面试过程当中也许会被问到关于正则的优化，你们记住几点就能够。

5、推荐

上面咱们讲解了关于正则表达式的诞生和发展、引擎、优化等知识，可是关于正则表达式的知识点远远不止这些，因此最后猪哥推荐一些好的学习资料，你们有空能够了解学习下。

1.书

推荐正则表达式的书，那必然是《精通正则表达式》 ，目前这本书已经出了第三版，豆瓣评分8.9。

内容虽然稍有啰嗦，可是对于正则新手很友好，惟一不足是Python案例少。

2.博客

入门：菜鸟教程：https://www.runoob.com/regexp...

3.在线测试工具

https://regex101.com/，这个网站能够选择不一样编程语言的正则支持，有语义分析、匹配测试、参考列表等，很是实用。

4.经常使用案例

一些简单经常使用的小案例汇总，菜鸟教程：http://c.runoob.com/front-end...

最后祝愿你们都能搞定正则表达式，处理文本能够驾轻就熟！

更多优质教程可关注猪哥微信公众号「裸睡的猪」！