AC自动机+trie树实现高效多模式匹配字典

前言

常常会遇到一类需求，在一段字符串中查找全部能匹配上的模式，好比查找一段文字匹配上字典中哪些短语。这时为了高效处理，就会考虑 AC 自动机，即 Aho-Corasick 自动机算法。它的核心思想是经过有限自动机巧妙地将字符比较转化为了状态转移。

经过 AC 自动机能作到匹配时不须要回溯，并且时间复杂度为 O(n)，即时间复杂度与词典的规模无关。

暴力匹配

暴力匹配就是一个一个比较，将模式串从头至尾匹配主串字符串，以下图模式串"ABCE"比较主串，一旦遇到不相同的则日后移觉得，从新开始比较，直到比对完主串，接着第二个模式串继续比较。该方法简单暴力，很好理解，但时间复杂度高，O(mn)。

AC自动机

AC自动机主要是将 n 个模式串构建成一个肯定性的树形有限状态机，而后将主串做为该有限状态机的输入，使该状态机进行状态的转换，当到达某些特定的状态时则说明发生模式匹配。

经过例子来理解，以 he、she、his、hers 为模式串，ushers为主串，构成了以下的状态机。

在状态机内部，能够看到有实线和虚线箭头，优先以实线标明方向转换状态，当没法实线转换时才使用虚线转换。

另外，当转换到图中红圈位置时说明发生了模式匹配，好比对于he，从根节点到1再到2，此时符合he，说明发生了模式匹配。

根据上图你能够试试看ushers会匹配出哪些模式，而且比划下状态的转换过程。

AC的三个函数

AC自动机包含了三个核心函数，基本上理解了他们就搞懂AC了。

• goto函数，用来指导状态转换，即在当前状态下，输入一个字符后该转到哪一个状态，对应的是上图中的实线部分。

• failure函数，用来指导匹配失败时的状态转换，即在当前状态下，输入一个字符后没办法根据实线进行转换了，此时根据虚线进行转换，对应上图虚线部分。

• output函数，描述哪些状态下发生了匹配，匹配的模式是什么。

实现

实现AC自动机时通常都会用TRIE树结构，那么就会定义一个ACTrieNode类，包含了子节点、值、output、failure节点等等属性。

public class ACTrieNode {
	private ACTrieNode[] children;
	private byte[] value;
	private boolean deleted = false;
	private int status;
	private ACArray[] results = null;
	private ACTrieNode failureNode;
	private static String encoding = "utf-8";
}
复制代码

详细实现看github，https://github.com/sea-boat/TextAnalyzer/blob/master/src/main/java/com/seaboat/text/analyzer/segment/ACTrieTree.java。

-------------推荐阅读------------

个人2017文章汇总——机器学习篇

个人2017文章汇总——Java及中间件

个人2017文章汇总——深度学习篇

个人2017文章汇总——JDK源码篇

个人2017文章汇总——天然语言处理篇

个人2017文章汇总——Java并发篇

---

跟我交流，向我提问：

公众号的菜单已分为“读书总结”、“分布式”、“机器学习”、“深度学习”、“NLP”、“Java深度”、“Java并发核心”、“JDK源码”、“Tomcat内核”等，可能有一款适合你的胃口。

为何写《Tomcat内核设计剖析》

欢迎关注：