文本过滤工具（grep）

过滤httpd.conf中的注释行

cat httpd.conf | grep -i "^ *[^ *#]" > my.conf

less /etc/postfix/main.cf |grep -n "^$"  显示空行所在的行号
less /etc/postfix/main.cf |grep -c "^$"　显示空行共有多少行
less /etc/postfix/main.cf |grep -v -n "^$"　显示非空行　并加行号
less /etc/postfix/main.cf |grep -v -n "^#"　显示非#行　并加行号

 

 

 

g r e p通常格式为：

代码:
 
grep [选项]基本正则表达式[文件]
这里基本正则表达式可为字符串。
 

 

单引号双引号
在g r e p命令中输入字符串参数时，最好将其用双引号括起来。
在调用模式匹配时，应使用单引号。

例如：“m y s t r i n g”。这样作有两个缘由，一是以防被误解为s h e l l命令，二是能够用来查找多个单词组成的字符串。
在调用变量时，也应该使用双引号，诸如： g r e p“$ M Y VA R”文件名，若是不这样，将没有返回结果。

经常使用的g r e p选项有：

引用:
 
-c 只输出匹配行的计数。
-i 不区分大小写（只适用于单字符）。
-h 查询多文件时不显示文件名。
-l 查询多文件时只输出包含匹配字符的文件名。
-n 显示匹配行及行号。
-s 不显示不存在或无匹配文本的错误信息。
-v 显示不包含匹配文本的全部行。
 

 

开始讨论以前，先生成一个文件，插入一段文本，并在每列后加入< Ta b >键，g r e p命令示例中绝大多数将以此为例，其命名为d a t a . . f。生成一个文件，d a t a . f的记录结构以下：

引用:
 
第1列：城市位置编号。
第2列：月份。
第3列：存储代码及出库年份。
第4列：产品代号。
第5列：产品统一标价。
第6列：标识号。
第7列：合格数量。
 

 

文件内容以下：

代码:
 
$ cat data.f
48      Dec     3BC1977 LPSX    68.00   LVX2A   138
483     Sept    5AP1996 USP     65.00   LVX2C   189
47      Oct     3ZL1998 LPSX    43.00   KVM9D   512
219     dec     2CC1999 CAD     23.00   PLV2C   68
484     nov     7PL1996 CAD     49.00   PLV2C   234
483     may     5PA1998 USP     37.00   KVM9D   644
216     sept    3ZL1998 USP     86.00   KVM9E   234
 

 

_________________

 

 

一、查询多个文件
在全部文件中查询单词“ sort it”

代码:
 
$ grep "sort it" *
 

 

二、 行匹配
1)显示包含“4 8”字符串的文本：

代码:
 
$ grep  "48"data.f
 

 

2)输出匹配行的总数

代码:
 
$ grep -c "48"data.f
4
 

g r e p返回数字4，表示：包含字符串“4 8”的有4行。

3)行数
显示知足匹配模式的全部行行数：

代码:
 
$ grep -n "48"data.f
 

行数在输出第一列，后跟包含4 8的每一匹配行。

4)显示非匹配行
显示全部不包含4 8的各行

代码:
 
$ grep -v "48"data.f
 

 

5)精确匹配
可能你们已注意到，在上一例中，抽取字符串“ 4 8”，返回结果包含诸如4 8 4和4 8 3等包含“4 8”的其余字符串，实际上应精确抽取只包含4 8的各行。
使用g r e p抽取精确匹配的一种更有效方式是在抽取字符串后加\ >。假定如今精确抽取4 8，方法以下：

代码:
 
$grep "48\>" data.f
 

 

引用:
 
另外一种方法我试过，好像不行：
注意在每一个匹配模式中抽取字符串后有一个< Ta b >键，因此应操做以下：
< Ta b >表示点击t a b键。
$grep "48<tab>" data.f
 

 

6)大小写敏感
缺省状况下， g r e p是大小写敏感的，如要查询大小写不敏感字符串，必须使用- i开关。在d a t a . f文件中有月份字符S e p t，既有大写也有小写，要取得此字符串大小写不敏感查询，方法以下：

代码:
 
$grep -i "48" data.f
 

 

_________________

 

grep和正则表达式

使用正则表达式使模式匹配加入一些规则，所以能够在抽取信息中加入更多选择。使用正则表达式时最好用单引号括起来，这样能够防止g r e p中使用的专有模式与一些s h e l l命令的特殊方式相混淆。

一、模式范围
抽取代码为4 8 4和4 8 3的城市位置，可使用[ ]来指定字符串范围。

代码:
 
$ grep "48[34]" data.f
483     Sept    5AP1996 USP     65.00   LVX2C   189
484     nov     7PL1996 CAD     49.00   PLV2C   234
483     may     5PA1998 USP     37.00   KVM9D   644
 

 

二、不匹配行首
使行首不是4或8，能够在方括号中使用^记号。

代码:
 
$ grep "^[^48]" data.f
219     dec     2CC1999 CAD     23.00   PLV2C   68
216     sept    3ZL1998 USP     86.00   KVM9E   234
 

 

若是是字符串48

代码:
 
$ grep -v "^[^48]" data.f
 

 

三、设置大小写
使用- i开关能够屏蔽月份S e p t的大小写敏感

代码:
 
[sam@chenwy sam]$ grep -i "sept" data.f
483     Sept    5AP1996 USP     65.00   LVX2C   189
216     sept    3ZL1998 USP     86.00   KVM9E   234
 

 

也能够用另外一种方式[ ]模式抽取各行包含S e p t和s e p t的全部信息。

代码:
 
[sam@chenwy sam]$ grep '[sS]ept' data.f
 

 

若是要抽取包含S e p t的全部月份，无论其大小写，而且此行包含字符串483，可使用管道命令，即符号“|”左边命令的输出做为“ |”右边命令的输入。举例以下：

代码:
 
[sam@chenwy sam]$ grep '[sS]ept' data.f | grep 48
483     Sept    5AP1996 USP     65.00   LVX2C   189
 

没必要将文件名放在第二个g r e p命令中，由于其输入信息来自于第一个g r e p命令的输出

四、匹配任意字符
若是抽取以K开头，以D结尾的全部代码，可以使用下述方法，由于已知代码长度为5个字符：

代码:
 
[sam@chenwy sam]$ grep 'K...D' data.f
47      Oct     3ZL1998 LPSX    43.00   KVM9D   512
483     may     5PA1998 USP     37.00   KVM9D   644
 

 

将上述代码作轻微改变，头两个是大写字母，中间两个任意，并以C结尾：

代码:
 
[sam@chenwy sam]$ grep '[A-Z]..C' data.f
483     Sept    5AP1996 USP     65.00   LVX2C   189
219     dec     2CC1999 CAD     23.00   PLV2C   68
484     nov     7PL1996 CAD     49.00   PLV2C   234
 

 

五、日期查询
一个经常使用的查询模式是日期查询。先查询全部以5开始以1 9 9 6或1 9 9 8结尾的全部记录。使用模式5 . . 1 9 9 [ 6 , 8 ]。这意味着第一个字符为5，后跟两个点，接着是1 9 9，剩余两个数字是6或8。

代码:
 
[sam@chenwy sam]$ grep '5..199[6,8]' data.f
483     Sept    5AP1996 USP     65.00   LVX2C   189
483     may     5PA1998 USP     37.00   KVM9D   644
 

 

六、范围组合
必须学会使用[ ]抽取信息。假定要取得城市代码，第一个字符为0-9，第二个字符在0到5之间，第三个字符在0到6之间，使用下列模式便可实现。

代码:
 
[sam@chenwy sam]$ grep '[0-9][0-5[0-6]' data.f
48      Dec     3BC1977 LPSX    68.00   LVX2A   138
483     Sept    5AP1996 USP     65.00   LVX2C   189
47      Oct     3ZL1998 LPSX    43.00   KVM9D   512
219     dec     2CC1999 CAD     23.00   PLV2C   68
484     nov     7PL1996 CAD     49.00   PLV2C   234
483     may     5PA1998 USP     37.00   KVM9D   644
216     sept    3ZL1998 USP     86.00   KVM9E   234
 

 

这里返回不少信息，有想要的，也有不想要的。参照模式，返回结果是正确的，所以这里

代码:
 
[sam@chenwy sam]$ grep '^[0-9][0-5[0-6]' data.f
219     dec     2CC1999 CAD     23.00   PLV2C   68
216     sept    3ZL1998 USP     86.00   KVM9E   234
 

这样能够返回一个预期的正确结果。
如下要注意有无边界字符的区别
七、模式出现机率
抽取包含数字4至少重复出现两次的全部行，方法以下：

代码:
 
[sam@chenwy sam]$ grep '4\{2,\}' data.f
483     may     5PA1998 USP     37.00   KVM9D   644
 

上述语法指明数字4至少重复出现两次，注意有无边界字符的区别。
一样，抽取记录使之包含数字9 9 9（三个9），方法以下：

代码:
 
[sam@chenwy sam]$ grep '9\{3,\}' data.f
219     dec     2CC1999 CAD     23.00   PLV2C   68
 

 

若是要查询重复出现次数必定的全部行，语法以下，数字9重复出现两次或三次：

代码:
 
[sam@chenwy sam]$ grep '9\{3\}' data.f
219     dec     2CC1999 CAD     23.00   PLV2C   68
[sam@chenwy sam]$ grep '9\{2\}' data.f
483     Sept    5AP1996 USP     65.00   LVX2C   189
47      Oct     3ZL1998 LPSX    43.00   KVM9D   512
219     dec     2CC1999 CAD     23.00   PLV2C   68
484     nov     7PL1996 CAD     49.00   PLV2C   234
 

 

有时要查询重复出现次数在必定范围内，好比数字或字母重复出现2到6次，下例匹配数字8重复出现2到6次，并以3结尾：

代码:
 
[sam@chenwy sam]$ cat myfile
83
888883
8884
88883
[sam@chenwy sam]$ grep '8\{2,6\}3' myfile
888883
88883
 

 

八、使用grep匹配“与”或者“或”模式
g r e p命令加- E参数，这一扩展容许使用扩展模式匹配。例如，要抽取城市代码为2 1 9或2 1 6，方法以下：

代码:
 
[sam@chenwy sam]$ grep -E '219|216' data.f
219     dec     2CC1999 CAD     23.00   PLV2C   68
216     sept    3ZL1998 USP     86.00   KVM9E   234
 

 

九、空行
结合使用^和$可查询空行。使用- c参数显示总行数：

代码:
 
[sam@chenwy sam]$ grep -c '^$' myfile
 

使用- n参数显示实际在哪一行：

代码:
 
[sam@chenwy sam]$ grep -c '^$' myfile
 

 

十、匹配特殊字符
查询有特殊含义的字符，诸如$ . ' " * [] ^ | \ + ? ,必须在特定字符前加\。假设要查询包含“.”的全部行，脚本以下：

代码:
 
[sam@chenwy sam]$ grep '\.' myfile
 

 

或者是一个双引号：

代码:
 
[sam@chenwy sam]$ grep '\"' myfile
 

 

以一样的方式，如要查询文件名c o n f t r o l l . c o n f（这是一个配置文件），脚本以下：

代码:
 
[sam@chenwy sam]$ grep 'conftroll\.conf' myfile
 

 

十一、查询格式化文件名
使用正则表达式可匹配任意文件名。系统中对文本文件有其标准的命名格式。通常最多六个小写字符，后跟句点，接着是两个大写字符。

代码:
 
[sam@chenwy sam]$ grep '^[a-z]\{1,6\}\.[A-Z]\{1,2\}' filename
 

这个写法我不知道有没有错

12 查询IP地址
要查看n n n . n n n网络地址，若是忘了第二部分中的其他部分，只知有两个句点，例如n n n . n n . .。要抽取其中全部nnn.nnn IP地址，使用[ 0 - 9 ] \ { 3 \ } \ . [ 0 - 0 \ { 3 \ } \。含义是任意数字出现3次，后跟句点，接着是任意数字出现3次，后跟句点。

代码:
 
[0-9]\{3\}\.[0-9]\{3\}\.'
 

 

上面还有一点错，改天更正

_________________

 

 

一、类名

g r e p容许使用国际字符模式匹配或匹配模式的类名形式。
类名及其等价的正则表达式类等价的正则表达式类等价的正则表达式

引用:
 
[ [ : u p p e r : ] ] [ A - Z ] [ [ : a l n u m : ] ] [ 0 - 9 a - zA-Z]
[ [ : l o w e r : ] ] [ a - z ] [ [ : s p a c e : ] ] 空格或t a b键
[ [ : d i g i t : ] ] [ 0 - 9 ] [ [ : a l p h a : ] ] [ a - z A - Z ]
 

 

例一：取以5开头，后跟至少两个大写字母：

代码:
 
$grep '5[[:upper:]][[:upper]]' data.f
 

 

取以P或D结尾的全部产品代码：

代码:
 
grep '[[:upper:]][[:upper:]][P,D]' data.f
 

 

二、使用通配符*的匹配模式

代码:
 
$cat testfile
looks
likes
looker
long
 

 

试试以下：

代码:
 
grep "l.*s" testfile
 

 

如在行尾查询某一单词，试以下模式：

代码:
 
grep "ng$" testfile
 

这将在全部文件中查询行尾包含单词ng的全部行。

三、系统grep

文件passwd

代码:
 
[root@Linux_chenwy sam]# grep "sam" /etc/passwd
sam:x:506:4::/usr/sam:/bin/bash
 

上述脚本查询/ e t c / p a s s w d文件是否包含sam字符串

若是误输入如下脚本：

代码:
 
[root@Linux_chenwy sam]# grep "sam" /etc/password
grep: /etc/password: 没有那个文件或目录
 

将返回g r e p命令错误代码'No such file or directory'。
上述结果代表输入文件名不存在，使用g r e p命令- s开关，可屏蔽错误信息。
返回命令提示符，而没有文件不存在的错误提示。

代码:
 
[root@Linux_chenwy sam]# grep -s "sam" /etc/password
 

若是g r e p命令不支持- s开关，可替代使用如下命令：

代码:
 
[root@Linux_chenwy sam]# grep "sam" /tec/password >/dev/null 2>&1
 

脚本含义是匹配命令输出或错误（ 2 > $ 1），并将结果输出到系统池。大多数系统管理员称/ d e v / n u l l为比特池，不要紧，能够将之当作一个无底洞，有进没有出，永远也不会填满。

上述两个例子并不算好，由于这里的目的只想知道查询是否成功。

如要保存g r e p命令的查询结果，可将命令输出重定向到一个文件。

代码:
 
[root@Linux_chenwy sam]# grep "sam" /etc/passwd >/usr/sam/passwd.out
[root@Linux_chenwy sam]# cat /usr/sam/passwd.out
sam:x:506:4::/usr/sam:/bin/bash
 

脚本将输出重定向到目录/ t m p下文件p a s s w d . o u t中。

使用ps命令
使用带有ps x命令的g r e p可查询系统上运行的进程。ps x命令意为显示系统上运行的全部进程列表。要查看D N S服务器是否正在运行（一般称为n a m e d），方法以下：

代码:
 
[root@Linux_chenwy sam]# ps ax|grep "named"
2897 pts/1    S      0:00 grep named
 

输出也应包含此g r e p命令，由于g r e p命令建立了相应进程， ps x将找到它。在g r e p命令中使用- v选项可丢弃p s命令中的g r e p进程。若是ps x不适用于用户系统，替代使用ps -ef。这里，因为我没有DNS服务，于是只有grep进程。

对一个字符串使用grep
g r e p不仅应用于文件，也可应用于字符串。为此使用e c h o字符串命令，而后对g r e p命令使用管道输入。

代码:
 
[root@Linux_chenwy sam]# STR="Mary Joe Peter Pauline"
[root@Linux_chenwy sam]# echo $STR | grep "Mary"
Mary Joe Peter Pauline
 

匹配成功实现。

代码:
 
[root@Linux_chenwy sam]# echo $STR | grep "Simon"
 

由于没有匹配字符串，因此没有输出结果。

四、egrep
e g r e p表明e x p r e s s i o n或extended grep，适状况而定。e g r e p接受全部的正则表达式， e g r e p的一个显著特性是能够以一个文件做为保存的字符串，而后将之传给e g r e p做为参数，为此使用- f开关。若是建立一个名为g r e p s t r i n g s的文件，并输入4 8 4和4 7：

代码:
 
[root@Linux_chenwy sam]# vi grepstrings
[root@Linux_chenwy sam]# cat grepstrings
484
47
 

 

代码:
 
[root@Linux_chenwy sam]# egrep -f grepstrings data.f
47      Oct     3ZL1998 LPSX    43.00   KVM9D   512
484     nov     7PL1996 CAD     49.00   PLV2C   234
 

上述脚本匹配d a t a . f中包含4 8 4或4 7的全部记录。当匹配大量模式时， - f开关颇有用，而在一个命令行中敲入这些模式显然极为繁琐。

若是要查询存储代码3 2 L或2 C C，可使用（|）符号，意即“|”符号两边之一或所有。

代码:
 
[root@Linux_chenwy sam]# egrep '(3ZL|2CC)' data.f
47      Oct     3ZL1998 LPSX    43.00   KVM9D   512
219     dec     2CC1999 CAD     23.00   PLV2C   68
216     sept    3ZL1998 USP     86.00   KVM9E   234
 

 

可使用任意多竖线符“ |”，例如要查看在系统中是否有账号l o u i s e、m a t t y或pauline ，使用w h o命令并管道输出至e g r e p。

代码:
 
$who |egrep (louise|matty|pauline)
 

 

还可使用^符号排除字符串。若是要查看系统上的用户，但不包括m a t t y和p a u l i n e，方法以下：

代码:
 
$who |egrep -v '^(matty|pauline)'
 

 

若是要查询一个文件列表，包括s h u t d o w n、s h u t d o w n s、r e b o o t和r e b o o t s，使用e g r e p可容易地实现。

代码:
 
$egrep '(shutdown |reboot) (s)?' *
 

 

egrep我等待网中人的讲解，嘿嘿