为何GNU grep如此之快？

编注：这是GNU grep的原做者Mike Haertel 在FreeBSD邮件列表中对 “GNU grep为何比BSD grep要快” 所作的回答，下面是邮件正文内容：

Gabor 您好，

我是GNU grep的原做者，同时也是一名FreeBSD用户，不过我一直使用的是-stable版本（也就是更老的版本），而没怎么关注-current版本。

可是，当我无心间翻阅-current版的邮件列表时，偶然发现了一些关于BSD grep与GNU grep性能的讨论，你可能也注意到了那些讨论。

无论怎么说，仅供参考吧，下面是一些简单的总结，关于为何GNU grep如此之快。或许你能借鉴其中的一些思想运用到BSD grep中去。

• 技巧1：GNU grep之因此快是由于它并不会去检查输入中的每个字节。
• 技巧2：GNU grep之因此快是由于它对那些的确须要检查的每一个字节都执行很是少的指令（操做）。

GNU grep使用了很是著名的Boyer-Moore算法（译者注：BM算法，是一种很是高效的字符串搜索算法，通常状况下，比KMP算法快3-5倍，具体可查看这篇讲解很是详细的文章：grep之字符串搜索算法Boyer-Moore由浅入深（比KMP快3-5倍）），该算法首先从目标字符串的最后一个字符开始查找，而且使用一个查找表，它能够在发现一个不匹配字符以后，计算出能够跳过多少个输入字符并继续查找。

GNU grep还展开了Boyer-Moore算法的内部循环，并创建了一个Boyer-Moore的delta表，这样它就不须要在每个展开的步骤进行循环退出判断了。这样的结果就是，在极限状况下（in the limit），GNU grep在须要检查的每个输入字节上所执行的x86指令不会超过3条（而且还跳过了许多字节）。

你能够看看由Andrew Hume和Daniel Sunday 1991年11月在“Software Practice & Experience”上发表的论文“Fast String Searching”，该文很好的讨论了Boyer-Moore算法的实现技巧，该文有免费的PDF在线版（译者注：点这里查看或下载）。

一旦有了快速搜索，这时你会发现也须要一样快速的输入。

GNU grep使用了原生Unix输入系统调用并避免了在读取后对数据进行拷贝。

并且，GNU grep还避免了对输入进行分行，查找换行符会让grep减慢好几倍，由于要找换行符你就必须查看每一个字节！

因此GNU grep没有使用基于行的输入，而是将原数据读入到一个大的缓冲区buffer，用Boyer-Moore算法对这个缓冲区进行搜索，只有在发现一个匹配以后才会去查找最近的换行符（某些命令参数，好比-n会禁止这种优化）。

最后，当我还在维护GNU grep的时候（15+年前……），GNU grep也尝试作一些很是困难的事情使内核也能避免处理输入的每一个字节，好比使用mmap()而不是read()来进行文件输入。当时，用read()会使大部分Unix版本形成一些额外的拷贝。由于我已经再也不GNU grep了，因此彷佛mmap已经再也不默认使用了，可是你仍然能够经过参数–mmap来启用它，至少在文件系统的buffer已经缓存了你的数据的状况下，mmap仍然要快一些：

$ time sh -c 'find . -type f -print | xargs grep -l 123456789abcdef'
  real  0m1.530s
  user  0m0.230s
  sys   0m1.357s
$ time sh -c 'find . -type f -print | xargs grep --mmap -l 123456789abcdef'
  real  0m1.201s
  user  0m0.330s
  sys   0m0.929s

[这里使用的输入是一个648M的MH邮件文件夹，包含大约41000条信息]

因此即便在今天，使用–mmap仍然能够提速20%以上。

总结：

• 使用Boyer-Moore算法（而且展开它的内层循环）。

• 使用原生系统调用来创建你的缓冲输入，避免在搜索以前拷贝输入字节。（不管如何，最好使用缓冲输出，由于在grep的经常使用场景中，输出的要比输入的少，因此输出缓冲拷贝的开销要小，而且能够节省许多这样小的无缓冲写操做。）

• 在找到一个匹配以前，不要查找换行符。

• 尝试作一些设置（好比页面对齐缓冲区，按页大小来读取块，选择性的使用mmap），这样可使内核避免拷贝字节。

让程序变得更快的关键就是让它们作更少的事情。;-)

致礼

Mike

---

原文连接： FreeBSD Mailing Lists 翻译： 伯乐在线 - 敏敏