正则grep (资源)

正则三剑客

grep : 文本过滤工具(模式:pattern)工具;php

sed : stream editor,流编辑器;文本编辑工具;

awk : Linux上的实现为gawk,文本报告生成器(格式化文本);html

正则表达式 :Regual Expression , REGEXPjava

     由一类特殊字符及文本字符所编写的模式,其中有些字符表示其字面意义,而是用于表示控制或通配的功能;node

     种类 : python

            基本正则表达式 : BRElinux

            扩展正则表达式 : EREgit

基本正则表达式元字符 : 正则表达式

    字符匹配 : redis

          . :匹配任意单个字符;shell

          [] :匹配指定范围内的任意单个字符;

          [] : 匹配指定范围外的任意单个字符;

一、 正则介绍_grep上

正则就是一串有规律的字符串,掌握好正则对于编写shell脚本有很大帮助,各类编程语言中都有正则,原理是同样的。本章将要学习grep/egrp、sed、awk

1.做用
Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来。grep全称是Global Regular Expression Print,表示全局正则表达式版本,它的使用权限是全部用户。
2.格式
grep [options]
3.主要参数
[options]主要参数:

-o 只按行显示匹配的字符
-c 只输出匹配行的数目
-n 显示匹配行的行号
-v 显示不包含匹配文本的行
-i 不区分大小写 (grep是大小写敏感的)
-R 文件夹下递归搜索
-l 只显示匹配的文件名 
-H 显示文件名
-A NUM(after)显示匹配的后几行
-B NUM(before)显示匹配的前几行
-C NUM显示匹配的先后几行 
–color 标出颜色
pattern正则表达式主要参数:
\: 忽略正则表达式中特殊字符的原有含义。
^:匹配正则表达式的开始行。
$: 匹配正则表达式的结束行。
\<:从匹配正则表达 式的行开始。
\>:到匹配正则表达式的行结束。
[ ]:单个字符,如[A]即A符合要求 。
[ - ]:范围,如[A-Z],即A、B、C一直到Z都符合要求 。
。:全部的单个字符。
* :有字符,长度能够为0。
4.grep命令使用简单实例
$ grep ‘test’ d*
显示全部以d开头的文件中包含 test的行。
$ grep ‘test’ aa bb cc
显示在aa,bb,cc文件中匹配test的行。
$ grep ‘[a-z]\{5\}’ aa
显示全部包含每一个字符串至少有5个连续小写字符的字符串的行。
$ grep ‘w\(es\)t.*\1′ aa
若是west被匹配,则es就被存储到内存中,并标记为1,而后搜索任意个字符(.*),这些字符后面紧跟着 另一个es(\1),找到就显示该行。若是用egrep或grep -E,就不用”\”号进行转义,直接写成’w(es)t.*\1′就能够了。
5.grep命令使用复杂实例
假设您正在’/usr/src/Linux/Doc’目录下搜索带字符 串’magic’的文件:
$ grep magic /usr/src/Linux/Doc/*
sysrq.txt:* How do I enable the magic SysRQ key?
sysrq.txt:* How do I use the magic SysRQ key?
其中文件’sysrp.txt’包含该字符串,讨论的是 SysRQ 的功能。
默认状况下,’grep’只搜索当前目录。若是 此目录下有许多子目录,’grep’会以以下形式列出:
grep: sound: Is a directory
这可能会使’grep’ 的输出难于阅读。这里有两种解决的办法:
明确要求搜索子目录:grep -r
或忽略子目录:grep -d skip
若是有不少 输出时,您能够经过管道将其转到’less’上阅读:
$ grep magic /usr/src/Linux/Documentation/* | less
这样,您就能够更方便地阅读。
有一点要注意,您必需提供一个文件过滤方式(搜索所有文件的话用 *)。若是您忘了,’grep’会一直等着,直到该程序被中断。若是您遇到了这样的状况,按 <CTRL c> ,而后再试。
下面还有一些有意思的命令行参数:
grep -i pattern files :不区分大小写地搜索。默认状况区分大小写,
grep -l pattern files :只列出匹配的文件名,
grep -L pattern files :列出不匹配的文件名,
grep -w pattern files :只匹配整个单词,而不是字符串的一部分(如匹配’magic’,而不是’magical’),
grep -C number pattern files :匹配的上下文分别显示[number]行,
grep pattern1 | pattern2 files :显示匹配 pattern1 或 pattern2 的行,
grep pattern1 files | grep pattern2 :显示既匹配 pattern1 又匹配 pattern2 的行。
grep -n pattern files  便可显示行号信息
grep -c pattern files  便可查找总行数
这里还有些用于搜索的特殊符号:
\< 和 \> 分别标注单词的开始与结尾。
例如:
grep man * 会匹配 ‘Batman’、’manic’、’man’等,
grep ‘\<man’ * 匹配’manic’和’man’,但不是’Batman’,
grep ‘\<man\>’ 只匹配’man’,而不是’Batman’或’manic’等其余的字符串。
‘^’:指匹配的字符串在行首,
‘$’:指匹配的字符串在行 尾,

Grep 命令 用法大全
一、 参数: 
-I :忽略大小写 
-c :打印匹配的行数 
-l :从多个文件中查找包含匹配项 
-v :查找不包含匹配项的行 
-n:打印包含匹配项的行和行标 

二、RE(正则表达式) 
\ 忽略正则表达式中特殊字符的原有含义 
^ 匹配正则表达式的开始行 
$ 匹配正则表达式的结束行 
\< 从匹配正则表达式的行开始 
\> 到匹配正则表达式的行结束 
[ ] 单个字符;如[A] 即A符合要求 
[ - ] 范围 ;如[A-Z]即A,B,C一直到Z都符合要求 
. 全部的单个字符 
* 全部字符,长度能够为0 

三、举例 
# ps -ef | grep in.telnetd 
root 19955 181 0 13:43:53 ? 0:00 in.telnetd 

# more size.txt size文件的内容 
b124230 
b034325 
a081016 
m7187998 
m7282064 
a022021 
a061048 
m9324822 
b103303 
a013386 
b044525 
m8987131 
B081016 
M45678 
B103303 
BADc2345 

# more size.txt | grep '[a-b]' 范围 ;如[A-Z]即A,B,C一直到Z都符合要求 
b124230 
b034325 
a081016 
a022021 
a061048 
b103303 
a013386 
b044525 
# more size.txt | grep '[a-b]'* 
b124230 
b034325 
a081016 
m7187998 
m7282064 
a022021 
a061048 
m9324822 
b103303 
a013386 
b044525 
m8987131 
B081016 
M45678 
B103303 
BADc2345 

# more size.txt | grep 'b' 单个字符;如[A] 即A符合要求 
b124230 
b034325 
b103303 
b044525 
# more size.txt | grep '[bB]' 
b124230 
b034325 
b103303 
b044525 
B081016 
B103303 
BADc2345 

# grep 'root' /etc/group 
root::0:root 
bin::2:root,bin,daemon 
sys::3:root,bin,sys,adm 
adm::4:root,adm,daemon 
uucp::5:root,uucp 
mail::6:root 
tty::7:root,tty,adm 
lp::8:root,lp,adm 
nuucp::9:root,nuucp 
daemon::12:root,daemon 

# grep '^root' /etc/group 匹配正则表达式的开始行 
root::0:root 

# grep 'uucp' /etc/group 
uucp::5:root,uucp 
nuucp::9:root,nuucp 

# grep '\<uucp' /etc/group 
uucp::5:root,uucp 

# grep 'root$' /etc/group 匹配正则表达式的结束行 
root::0:root 
mail::6:root 

# more size.txt | grep -i 'b1..*3' -i :忽略大小写 

b124230 
b103303 
B103303 

# more size.txt | grep -iv 'b1..*3' -v :查找不包含匹配项的行 

b034325 
a081016 
m7187998 
m7282064 
a022021 
a061048 
m9324822 
a013386 
b044525 
m8987131 
B081016 
M45678 
BADc2345 

# more size.txt | grep -in 'b1..*3' 
1:b124230 
9:b103303 
15:B103303 

# grep '$' /etc/init.d/nfs.server | wc -l 
128 
# grep '\$' /etc/init.d/nfs.server | wc –l 忽略正则表达式中特殊字符的原有含义 

15 
# grep '\$' /etc/init.d/nfs.server 
case "$1" in 
>/tmp/sharetab.$$ 
[ "x$fstype" != xnfs ] && 
echo "$path\t$res\t$fstype\t$opts\t$desc" 
>>/tmp/sharetab.$$ 
/usr/bin/touch -r /etc/dfs/sharetab /tmp/sharetab.$$ 
/usr/bin/mv -f /tmp/sharetab.$$ /etc/dfs/sharetab 
if [ -f /etc/dfs/dfstab ] && /usr/bin/egrep -v '^[ ]*(#|$)' 
if [ $startnfsd -eq 0 -a -f /etc/rmmount.conf ] && 
if [ $startnfsd -ne 0 ]; then 
elif [ ! -n "$_INIT_RUN_LEVEL" ]; then 
while [ $wtime -gt 0 ]; do 
wtime=`expr $wtime - 1` 
if [ $wtime -eq 0 ]; then 
echo "Usage: $0 { start | stop }" 

# more size.txt 

the test file 
their are files 
The end 

# grep 'the' size.txt 
the test file 
their are files 

# grep '\<the' size.txt 
the test file 
their are files 

# grep 'the\>' size.txt 
the test file 

# grep '\<the\>' size.txt 
the test file 

# grep '\<[Tt]he\>' size.txt 
the test file

==================================================================

1,简介
使用正则表达式的一个多用途文本搜索工具.这个php?name=%C3%FC%C1%EE" onclick="tagshow(event)" class="t_tag">命令原本是ed行编辑器中的一个php?name=%C3%FC%C1%EE" onclick="tagshow(event)" class="t_tag">命令/过滤器:
        g/re/p -- global - regular expression - print.
基本格式
grep pattern [file...]
(1)grep 搜索字符串 [filename]
(2)grep 正则表达式 [filename]
在文件中搜索全部 pattern 出现的位置, pattern 既能够是要搜索的字符串,也能够是一个正则表达式.
注意:在输入要搜索的字符串时最好使用双引号/而在模式匹配使用正则表达式时,注意使用单引号

2,grep的选项
    -c 只输出匹配行的计数
    -i 不区分大小写(用于单字符)
    -n 显示匹配的行号
    -v 不显示不包含匹配文本的因此有行
    -s 不显示错误信息
    -E 使用扩展正则表达式
    更多的选项请查看:man grep

3,经常使用grep实例

(1)多个文件查询
    grep "sort" *.doc               #见文件名的匹配

(2)行匹配:输出匹配行的计数
    grep -c "48" data.doc           #输出文档中含有48字符的行数

(3)显示匹配行和行数
    grep -n "48" data.doc           #显示全部匹配48的行和行号
 
(4)显示非匹配的行  
    grep -vn "48" data.doc          #输出全部不包含48的行

(5)大小写敏感
    grep -i "ab" data.doc           #输出全部含有ab或Ab的字符串的行

4, 正则表达式的应用

(1)正则表达式的应用 (注意:最好把正则表达式用单引号括起来)
    grep '[239].' data.doc         #输出全部含有以2,3或9开头的,而且是两个数字的行

(2)不匹配测试
    grep '^[^48]' data.doc         #不匹配行首是48的行

(3)使用扩展模式匹配
    grep -E '219|216' data.doc

(4) ...
    这须要在实践中不断应用和总结,熟练掌握正则表达式。

5, 使用类名
可使用国际模式匹配的类名:
[[:upper:]]   [A-Z]
[[:lower:]]   [a-z]
[[:digit:]]   [0-9]
[[:alnum:]]   [0-9a-zA-Z]
[[:space:]]   空格或tab
[[:alpha:]]   [a-zA-Z]

(1)使用
    grep '5[[:upper:]][[:upper:]]' data.doc              #查询以5开头以两个大写字母结尾的行

 

grep

grep [-cinvABC]'word'filename

-c                       行数

-i                        不区分大小写

-n                      显示行号

-v                      取反

-r                       #遍历全部的子目录

-A                     后面跟数字,过滤出符合要求的行以及下面n行

-B                     同上,过滤处于符合要求的行以及上面n行

-C                    同上,同时过滤处于符合要求的行以及上下各n行

实例:

过滤nologin在passwd文件中。使用which grep查看命令的别名。

过滤掉不含有nologin的行。

列出来全部的含有root的目录或文件。

使用重定向,把root导进/tmp/grep.log,而后查找passwd文件,

-A列出来关键的行rootr以后,-A2还列出来底下的的两行。

-C列出来上下两行

 

不加参数

grep最简单的用法就是不加任何参数,好比说,咱们想要在grep.txt文件中找到含有字符串"hello"的全部行,那么咱们能够

-n

-n参数可让你在显示所匹配到的内容时同时显示行号,仍是在grep.txt文件中找到含有字符串"hello"的全部行 ,此次咱们加了-nc参数,看看和上面的输出有什么不一样

-i

可使用-i选项在匹配时忽略大小写,好比说

--color

看看上面的输出,仍是以为有点不太爽,输出都是白色字体,咱们要找的hello到底在一行的什么位置仍是须要咱们用眼睛费力的去看,其实,grep提供了一个参数彻底能够解放咱们这种没必要要的劳力,就是--color 参数,不过须要注意的一点是,这是个长选项参数,Linux命令的参数分为长选项参数 和短选项参数,长选项参数前是2个-。好了,仍是用上面的文件作个测试看看。

-o

在前面的实例中,包含匹配词的行整行都会被打印出来,可是有时候咱们并不须要整行打印,只是想看到被匹配的关键词,这时候就须要用到-o 选项了,以下所示。

-A / -B / -C

某些状况下,咱们不只须要显示关键词匹配的行,还须要显示所匹配行的先后行信息,这时候就须要用到-A/-B/-C这三个参数了,

其中:  -A n(n是一个整数)--->表示将匹配行的后n行也显示

           -B n(n是一个整数)--->表示将匹配行的前n行页显示 

           -C n(n是一个整数)--->表示将匹配行的后n行也显示  

-v

反向查找,也就是说,查找的行是不含所给出的匹配词的,-v参数就是实现这个功能的,仍是看例子:找出grep.txt文件中不含"hello"的行

在grep.txt文件中找到含有字符串"hello"的全部行

# cat 1.txt | grep "helllo"

-n参数可让你在显示所匹配到的内容时同时显示行号仍是在grep.txt文件中找到含有字符串"hello"的全部行

可使用-i选项在匹配时忽略大小写,好比说

给匹配到的字符,添加颜色

看看上面的输出,仍是以为有点不太爽,输出都是白色字体,咱们要找的hello到底在一行的什么位置仍是须要咱们用眼睛费力的去看,其实,grep提供了一个参数彻底能够解放咱们这种没必要要的劳力,就是--color 参数,不过须要注意的一点是,这是个长选项参数,Linux命令的参数分为长选项参数 和短选项参数,长选项参数前是2个-。好了,仍是用上面的文件作个测试看看。

在前面的实例中,包含匹配词的行整行都会被打印出来,可是有时候咱们并不须要整行打印,只是想看到被匹配的关键词,这时候就须要用到-o 选项了,以下所示。

某些状况下,咱们不只须要显示关键词匹配的行,还须要显示所匹配行的先后行信息,这时候就须要用到-A/-B/-C这三个参数了,

其中:  -A n(n是一个整数)      --->         表示将匹配行的后n行也显示

           -B n(n是一个整数)      --->          表示将匹配行的前n行页显示 

           -C n(n是一个整数)      --->          表示将匹配行的后n行也显示  

看的有点晕?不要紧,看看下面的例子就明白了。为了方便阅读,将测试所需的文件内容在此处再贴出来。

有时候咱们须要反向查找,也就是说,查找的行是不含所给出的匹配词的,-v参数就是实现这个功能的,仍是看例子:找出grep.txt文件中不含"hello"的行

 

问:grep -A B C通常什么状况下会用?

答:shell脚本中会用到。

问:grep 'nologin' passwd  和grep nologin passwd 效果同样,那何时加 ' ',何时不加.

答:大多时候不加单引号是没问题的,由于没有一些特殊的符号,但有特殊符号时,好比你加了一个空格,就得加上单引号。为了省去这种麻烦,大家没必要去关心加不加单引号,因此我建议你们所有加上。

 

'string' 单引号 (single quote)
被单引号用括住的内容,将被视为单一字串。在引号内的表明变数的$符号,没有做用,也就是说,他被视为通常符号处理,防止任何变量替换。
heyyou=homeecho '$heyyou' # We get $heyyou


"string" 双引号 (double quote)
被双引号用括住的内容,将被视为单一字串。它防止通配符扩展,但容许变量扩展。这点与单引数的处理方式不一样。
heyyou=homeecho "$heyyou" # We get home

`command` 倒引号 (backticks)
在前面的单双引号,括住的是字串,但若是该字串是一列命令列,会怎样?答案是不会执行。要处理这种状况,咱们得用倒单引号来作。
fdv=`date +%F`echo "Today $fdv"
在倒引号内的 date +%F 会被视为指令,执行的结果会带入 fdv 变数中。


二、 grep中

grep -n 'root' /etc/passwd                                          #在/etc/passwd  目录中查找root开头的文件或者目录

grep -nv 'nologin' /etc/passwd                                  #查找不含有nologin的行

grep '[0-9]'/etc/inittab                                                 #只要文件里面有0到9的数字(带数字的),都列出来

grep -v [0-9]'/etc/inittab                                            #不包含数字的行,都列出来

grep -v '^#'/etc/sos.conf                                           #列出来不以#开头的行

grep -v '^#'/etc/sos.conf|grep -v '^$'                       #不以#开头的行,去掉

grep '^[^a-zA-Z]' test.txt                                 #不以a-zA-Z开头的行,显示出来

grep '^[a-zA-Z]' test.txt                                  #以a-zA-Z开头的行,显示出来

grep 'r.o' test.txt                                             #把含有r.o的行显示出来,.表示任意一个符号,如:roo

grep 'oo*' test.txt                                       #把含有oo*的行显示出来,*表示任意一个符号,如:oot

grep 'o*o' test.txt                                      #把含有o*o的行显示出来,*表示任意个o,一个o,或者多个o,或者没有o,   oo之间能够没有字符,如:oo,oto,daemon

grep '.*' test.txt                                #全部的字符内容都会匹配,  .*就是任意一个;例如:grep 'aming.*bash' passwd   :列出来包含aming开头的,.*bash结尾的行。

grep 'o\{2\}' /etc/passwd=grep -E 'o{2}' /etc/passwd             #o出现两次或者多个的行显示出来,如:root,rooot

grep ^111.111.111.111 log_file| awk '{print $1,$7}'         #查看某一个IP访问了哪些页面

查看apache当前并发访问数

对比httpd.conf中MaxClients的数字差距多少

netstat -an | grep ESTABLISHED | wc -l

 

可使用以下参数查看数据

ps -ef|grep httpd|wc -l 1388

统计httpd进程数,连个请求会启动一个进程,使用于Apache服务器。表示Apache可以处理1388个并发请求,这个值Apache可根据负载状况自动调整

netstat -nat|grep -i "80"|wc -l 4341

查找较多time_wait链接

netstat -n|grep TIME_WAIT|awk '{print $5}'|sort|uniq -c|sort -rn|head -n20

找查较多的SYN链接

netstat -an | grep SYN | awk '{print $5}' | awk -F: '{print $1}' | sort | uniq -c | sort -nr | more

查看了链接数和当前的链接数

netstat -ant | grep $ip:80 | wc -l netstat -ant | grep $ip:80 | grep EST | wc -l

查看IP访问次数

netstat -nat|grep ":80"|awk '{print $5}' |awk -F: '{print $1}' | sort| uniq -c|sort -n

 

grep -E '(oo){2}' /etc/passwd                           #出现两次o的行,如:roooot

egrep 'o{2}' /etc/passwd                                  #显示有两个或者多个o的行,egrep是grep的扩展。

egrep 'o+' /etc/passwd                                   #显示一个o或者多个o的行,如:rot,root,rooot

egrep 'oo?' /etc/passwd                                  #?表示重复前面的字符出现一次或者零次

egrep 'root|nologin' /etc/passwd=grep -E 'root|nologin' passwd                  #含有root或者nologin的行,显示出来。

egrep '(00){2}' /etc/passwd                              #查找/etc/passwd文件中包含两个o的行。          

.  :     表示任意一个字符

* :   表示零个或者多个字符

{} :     表示一个范围

.* :     表示统配,全部的匹配,零个或者多个字符.

+ :     1个或者多个字符.

? :       一个或者零个

| :        表示或者

 

例如 [^0-9]  那就是非数字(包括字母+特殊符号)

例如[^a-zA-Z] 那就是非字母(包括数字+特殊符号)

例如[^0-9a-zA-Z]那就是非数字字幕(特殊符号)

[^]  匹配非方括号里面的内容。就是:只要不是方括号里面的内容都打印出来。

^[^] 匹配非方括号里面的内容开头的全部字符。 只要不是方括号里面的内容所开头的,都打印出来。

实例:

拷贝到当前的行

显示出来不含有#键的(不以#开头的)行

带颜色的文本搜索,并同时输出行号

正则表达式模式的搜索

在文件夹下的yml文件中搜索,并标注行号和对应行

grep -nR --color=always a./*.yml

grep -lR a ./*.yml在文件夹下的yml文件中搜索,但只输出匹配的文件名

 

3 、grep下

grep正则表达式元字符集:
 ^ 锚定行的开始 如:'^grep'匹配全部以grep开头的行。 


$ 锚定行的结束 如:'grep$'匹配全部以grep结尾的行。 


. 匹配一个非换行符的字符 如:'gr.p'匹配gr后接一个任意字符,而后是p。 


* 匹配零个或多个先前字符 如:'*grep'匹配全部一个或多个空格后紧跟grep的行。 .*一块儿用表明任意字符。


 [] 匹配一个指定范围内的字符,如'[Gg]rep'匹配Grep和grep。 


[^] 匹配一个不在指定范围内的字符,如:'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头,紧跟rep的行。 


\(..\) 标记匹配字符,如'\(love\)',love被标记为1。 


\ 锚定单词的开始,如:'\匹配包含以grep开头的单词的行。 


\> 锚定单词的结束,如'grep\>'匹配包含以grep结尾的单词的行。 


x\{m\} 重复字符x,m次,如:'0\{5\}'匹配包含5个o的行。 


x\{m,\} 重复字符x,至少m次,如:'o\{5,\}'匹配至少有5个o的行。 


x\{m,n\}重复字符x,至少m次,很少于n次,如:'o\{5,10\}'匹配5--10个o的行。


 \w 匹配文字和数字字符,也就是[A-Za-z0-9],如:'G\w*p'匹配以G后跟零个或多个文字或数字字符,而后是p。


 \b 单词锁定符,如: '\bgrep\b'只匹配grep。

 

 经常使用的 grep 选项有:
 -c 只输出匹配行的个数。
 -i 不区分大小写(只适用于单字符)。
 -h 查询多文件时不显示文件名。
 -l 查询多文件时只输出包含匹配字符的文件名。
 -n 显示匹配行及行号。
 -s 不显示不存在或无匹配文本的错误信息。
 -v 显示不包含匹配文本的全部行。
 -V 显示软件版本信息
 使用grep匹配时最好用双引号引发来,防止被系统误认为参数或者特殊命令,也能够匹配多个单词。

 关于匹配的实例:
 grep -c "48" test.txt                                统计全部以“48”字符开头的行有多少
 grep -i "May" test.txt                             不区分大小写查找“May”全部的行)
 grep -n "48" test.txt                               显示行号;显示匹配字符“48”的行及行号,相同于 nl test.txt |grep 48)
 grep -v "48" test.txt                               显示输出没有字符“48”全部的行)
 grep "471" test.txt                                 显示输出字符“471”所在的行)
 grep "48;" test.txt                                  显示输出以字符“48”开头,并在字符“48”后是一个tab键所在的行
 grep "48[34]" test.txt                            显示输出以字符“48”开头,第三个字符是“3”或是“4”的全部的行)
 grep "^[^48]" test.txt                           显示输出行首不是字符“48”的行)
 grep "[Mm]ay" test.txt                          设置大小写查找:显示输出第一个字符以“M”或“m”开头,以字符“ay”结束的行)
 grep "K…D" test.txt                              显示输出第一个字符是“K”,第2、3、四是任意字符,第五个字符是“D”所在的行)
 grep "[A-Z][9]D" test.txt                      显示输出第一个字符的范围是“A-D”,第二个字符是“9”,第三个字符的是“D”的全部的行
 grep "[35]..1998" test.txt                      显 示第一个字符是3或5,第二三个字符是任意,以1998结尾的全部行
 grep "4\{2,\}" test.txt                          模式出现概率查找:显示输出字符“4”至少重复出现两次的全部行
 grep "9\{3,\}" test.txt                          模式出现概率查找:显示输出字符“9”至少重复出现三次的全部行
 grep "9\{2,3\}" test.txt                        模式出现概率查找:显示输出字符“9”重复出现的次数在必定范围内,重复出现2次或3次全部行
 grep -n "^$" test.txt                           显示输出空行的行号
 ls -l |grep "^d"                                   若是要查询目录列表中的目录 同:ls -d *
 ls -l |grep "^d[d]"                              在一个目录中查询不包含目录的全部文件
 ls -l |grpe "^d…..x..x"                        查 询其余用户和用户组成员有可执行权限的目录集合

 

扩展
把一个目录下,过滤全部*.php文档中含有eval的行
grep -r --include="*.php" 'eval' /data/

 

快速找出进程的全部 PID

大多都是使用 PS 、Grep 、AWK 三个命令经过管道符相结合来把对应 PID 找出来 。具体命令相似下样这样:

$ ps aux | grep apache | awk '{print $2}'

安装 PGREP

  • CentOS / RHEL

$ yum  install procps

PGREP 使用

 

PGREP  的使用上很是简单,下面是一些经常使用的例子。

# 找出 apache2 相关的全部 PID$ pgrep apache2# 找出 root 用户运行的 sshd 进程 $ pgrep -u root sshd$ renice +4 $(pgrep firefox)

 

 find 搜寻文件或目录

find /home -name hello*               (查找home目录下的文件名或目录为hello的)

find / -name h?m*                          (在跟目录下查找h开头第二个字符是任意的,第三个是m,后面的是任意的字符)

find / -size +1000000k                   (表示在根目录下查询文件大于1000000K的文件)

字符串替换命令

:s/well/good/                 替换当前行第一个well 为 good

:s/well/good/g               替换当前行全部well 为 good

:n,$s/well/good/            替换第 n 行开始到最后一行中每一行的第一个 well 为 good

:n,$s/well/good/g         替换第 n 行开始到最后一行中每一行全部 well 为 good

n 为数字,若 n 为 .,表示从当前行开始到最后一行

:%s/well/good/           (等同于 :g/well/s//good/) 替换每一行的第一个 well 为 good

:%s/well/good/g        ( 等同于 :g/well/s//good/g) 替换每一行中全部 well 为 good

特殊符号转义:可使用#做为分隔符,此时中间出现的 / 不会做为分隔符

:s#well/#good/#        替换当前行第一个 well/ 为 good/

:%s#/usr/bin#/bin#g        能够把文件中全部路径/usr/bin换成/bin

 重定向命令

ls  -l  /etc/       但愿

ls  -l  /etc > /home/myback.txt     (覆盖重定向)把显示的结果覆盖到/home/myback.txt中去

ls  -l  /etc >> /home/myback.txt     (追加剧定向)把显示的结果追加到/home/myback.txt中去

删除多行

删除多行步骤以下:

1. 首先要显示对应的行数这样方能知道从第几行到第几行删除

: set nu

2. 按Esc键退出,在命令行中输入:190,6233d(即[190 , 6233]都删除掉)

若是想要状况整个文件内容,在直接运行如下命令:

清空文件内容:> log.txt

行位定位

直接定位到最后一行:

按Esc键退出,在命令行中输入: G

直接定位到第一行:

按Esc键退出,在命令行中输入: 1 G

直接定位到某一行:(第17行)

按Esc键退出,在命令行中输入:17 G

 复制一行或多行

<1. 复制一行

yy   复制当前行

p   粘贴

<2. 复制多行

7yy  从当前行开始复制7行

p   粘贴

Linux中查看python的版本

python -V

或者

python --version

ls中文件颜色的显示表明的意义为:

1.蓝色--> 目录

2.绿色--> 可执行文件

3.红色--> 压缩文件

4.浅蓝色--> 连接文件

5.灰色--> 其余文件

建立用户以及查看当前用户

useradd redis

passwd redis

若是是Ubuntu系统则须要使用以下命令:

useradd openstack -m -s /bin/bash

userdel -r openstack

查看当前系统存在的用户组和用户

/etc/group文件包含全部组

/etc/shadow和/etc/passwd系统存在的全部用户名

经常使用查看文件大小与Linux系统命令

查看内存使用状况: free -m  (m为MB,g为GB)

查看对应磁盘使用状况: df -lh

查看对应CPU使用状况: cat /proc/cpuinfo

会有32个大体相同的内容展现(下标是从0开始的),这就说明该服务器为8核操做系统

cat  /proc/cpuinfo | grep "model name" | head -1(只显示一行对应的CPU型号以及其余信息)

cat  /proc/cpuinfo | grep "model name"(系统有几个核就会显示几行)

cat  /proc/cpuinfo | grep "model name" | wc -l(统计出一共有多少核)

查看对应服务器版本当前操做系统发行版信息: cat /etc/issue  或  cat /etc/redhat-release

\{m\}

\{m\} 表示匹配前面字符m次,也就是说前面字符出现m次的行会被匹配,好了,实验一把吧,查找regular_1.txt 文件中a连续出现2次的行。

只要是连续出现了2次a以上的行都会被匹配上,这个世界究竟怎么了?我明明只是想要连续出现两次a的行就能够了,干吗给我返回这么多。其实很简单。连续3个a就已经包含了连续2个a,确定能匹配上。再看看第5行,连续4个a包含了2次连续2个a,至关于第5行匹配上了2次。

找出文件中含有连续100个a的行  :cat  regular_1.txt  | grep "a\{100\}"  

\{m,\}

\{m,\} 至少匹配前面字符m次,好了, 咱们再来查找regular_1.txt 文件中a连续 出现2次以上的行。 

仔细看看第四、6行,仍是有些许不一样的,以第3行为例,\{2\}形式匹配的时候第3行被匹配上是由于连续包含了2个a被匹配上,所以输出中最后的a没有颜色;而\{2,\}形式第3行被匹配上是由于连续包含了3个a才被匹配上。果相同但因却不同。

\{m,n\} 

\{m,n\} 匹配前面字符 最少m次,最多m次均可以,好了, 咱们再来查找regular_1.txt 文件中a连续 出现2次到3次的行。

第6行含有连续5个a为何能被匹配上。

 

*

*表示其前面的字符连续出现任意次,这个任意固然包括0次了,也包括屡次,好了,如今咱们用*来匹配测试下。

原始文件中不管有多少个a都被匹配出,尽管第1行不含a字符,但仍是匹配出来了。

\? 

\?表示其前面的字符连续出现0次或者1次,下面咱们用它来匹配regular_1.txt文件中出现0次或者1次的行。

和*匹配的结果是同样的,尽管结果同样,可是匹配的原理是不一样的。以第3行为例,若是使用*匹配,则第3行是以由于其连续含有2个a被匹配上的;而若是是以\?匹配,则第3行被匹配上是由于先匹配了上1个a,再匹配上后面的a,至关于匹配上了2次。因此有时候看事务是不能只看表面的。

\+

\+ 表示其前面的字符连续出现1次或者屡次,也就是说,\+前面的字符至少要连续出现一次才能匹配上。若是咱们须要查找文件中出现过a字符的行,咱们可使用下面的命令。

 

查看更为底层的版本信息: cat /proc/version (例如:CentOS实际最根源为RetHat,此命令将会显示所采用RetHat的版本)

查看某个文件夹当前所占用的空间使用:

du -h node            (cd /data/solr-4.8.0/)

查看当前目录下的全部文件各个大小

du -sh *       (cd /)

查看内存状况

<1.  jstat -gc pid     能够看到对应各个内存大小、使用情况以及GC处理状况

<2.  jmap -heap [pid]     查看内存分布

<3.  jstat -gcutil [pid] 1000  每隔1s输出java进程的gc状况

修改文件夹及其里面的内容的权限

chown -R solr:solr /home/solr/lib

意思是将 /home/solr/lib 文件夹及其里面内容的用户所属权限修改成solr用户所属权限

查看某个端口连接状态的链接数

netstat -nlap | grep -i est | grep -i 6379 | awk '{print $4}'

netstat -nlap | grep -i est | grep -i 1121 | wc -l

netstat常见参数以下:

-a (all)显示全部选项,默认不显示LISTEN相关

-t (tcp)仅显示tcp相关选项

-u (udp)仅显示udp相关选项

-n 拒绝显示别名,能显示数字的所有转化成数字。

-l 仅列出有在 Listen (监听) 的服務状态

-p 显示创建相关连接的程序名

-r 显示路由信息,路由表

-e 显示扩展信息,例如uid等

-s 按各个协议进行统计

-c 每隔一个固定时间,执行该netstat命令。

提示:LISTEN和LISTENING的状态只有用-a或者-l才能看到

 同步服务器的时间

ntpdate pool.ntp.org

将这个命令启用为定时脚本执行,具体以下所示:

1 */2 * * * ntpdate pool.ntp.org

不容许ssh登陆如何配置

修改vim /etc/sysconfig/sshd_config文件,增长一行:AllowUsers solr,具体以下所示:

使其生效运行以下命令:

service sshd reload

经常使用系统级配置总结:

1. 限制登陆:/etc/ssh/sshd_config    修改后需重启:service sshd restart

2. 用户配置:/etc/passwd

3. sudo权限:/etc/sudoers

经常使用JDK系统环境变量配置

1.JAVA_HOME=/usr/java/jdk1.7.0_55

2.CLASSPATH=.:$JAVA_HOME/lib.tools.jar

3.PATH=$JAVA_HOME/bin:$PATH

4.exportJAVA_HOME CLASSPATH PATH

.看Redis/Tomcat的版本

redis-cli  info  |  grep  'redis_version'

tomcat版本须要进入到安装目录下的 bin/ 文件夹:

./version.sh  或者  sh version.sh

查看linux的防火墙是否阻止80端口

1iptables -vnL |grep":80 "

 

 

参考连接 :

【Linux命令】 grep命令基本用法: https://mp.weixin.qq.com/s/yOfak3KrezgCw0sXreGZ8w

别不信!掌握好这23个Linux命令经常使用项,可加薪30% : https://mp.weixin.qq.com/s/e5rKYqxv_XwKceD17Sy6nQ

 

 

 

连接  :

linux下使用grep恢复被删文件内容   :  http://blog.chinaunix.net/uid-25266990-id-2744805.html

grep&正则表达式  :  https://www.cnblogs.com/keerya/p/7307026.html

grep&fgrep&egrep&wc&diff&patch&wc&cut&sort&uniq :  grep&fgrep&egrep&wc&diff&patch&wc&cut&sort&uniq

grep零宽断言&正则表达式  :  http://blog.51cto.com/hmtk520/2074219

 

脚本之家 : 

正则表达式速查表 :  https://www.jb51.net/tools/regexsc.htm

正则表达式30分钟入门教程 : https://www.jb51.net/tools/zhengze.html

文本处理之正则表达式和grep     :    http://blog.51cto.com/11551196/1834866

相关文章
相关标签/搜索