sed命令详解及运用

​10月17日任务

9.4/9.5 sed

 

9.三、正则介绍 - sed命令（上）

sed是流编辑器，默认不编辑源文件，是以行为单位从源文件抽取数据，进而处理再输出于屏幕上；可能有的人说那我直接vi不就行了嘛，但文本有几百成千上万的时候，你就不这么以为了；这个时候就须要用到sed或者更为强大的awk了

流编辑器：是指向流水同样，抽取一行，处理一行，输出屏幕，抽取下一行，再处理显示，以此类推；而相对的vi等编辑器是将文件打开，内容都读取到缓存中，而后显示一个屏幕的内容给你，你再编辑；

sed用法  sed [option] 'AddressCommand' file ...

    -n: 静默模式

    -i :直接修改源文件(风险较大，不推荐)

    -e: Script -e Script:能够同时执行多个脚本

    -f : /PATH/TO/SED_SCRIPT    sed -f /path/script file

    -r: 使用扩展正则表达式（相对基本正则有更好的元字符支持）

Address:

    1, Startline,Endline    

           如： 1，100 即第1至100行；   $：最后一行

    2， /RegExp/ 正则表达式匹配 /^root/

    3, /pattern1/,/pattern2/

        第一次被patthern1匹配到内容开始，至第一次被pattern2匹配到的内容结束

    4, LineNumber 制定行

    5， StartLine， +N

           从StartLine开始，向后N行

Command

    d: 删除符合条件行，即delete

    p: 显示符合条件行，通常于-n合用，即print意思

    a  \string:在制定行后面追加新行   \n \t均可以用，即append含义

    i \string : 在制定行前面追加新行，内容为string, 即insert

    r file : 将制定文件内容，添加至符合体哦啊见的行处，即read

    w file: 将制定范围内的行，另存至制定文件中；即， write

    s/pattern/string/修饰符 ： 查找并替换，默认只替换第一次被匹配到的字符串

加修饰符：

                        g: 替换全部被匹配的字符串，即group

                        i: 忽略字符大小写

• sed '1'd  test.txt                    #d表示删除

• sed '1,3'd test.txt

• sed '/oot/'d test.txt

• sed '1,2s/ot/to/g' test.txt

• sed 's#ot#to#g test.txt          #g表示全局替换

• sed 's/[a-zA-Z]//g' test.txt

• sed -r 's/(rot)(.*)(bash)/\3\2\1/' test.txt            #-r 脱意特殊符号

• sed 's/^.*$/123&/' test.txt

• sed -i 's/ot/to/g' test.txt     #-i直接修改文档

• sed -n '5'p test.txt             #p表示打印

• sed -n '1,5'p test.txt

• sed -n '1,$'p test.txt

• sed -n '/root/'p test.txt

• sed -n '/^1/'p test.txt

• sed -n 'in$'p test.txt

• sed -n '/r..o/'p test.txt

• sed -n 'oo*'p test.txt

• sed -e '1'p -e '/111/'p -n test.txt           # -e表示在同一个表达式里边作多个动做

实践：

[root@centos6 sed]# sed -n '/root/'p test.txt 
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@centos6 sed]# sed -n '/r.t/'p test.txt 
operator:x:11:0:operator:/root:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
[root@centos6 sed]# sed -n '/r*t/'p test.txt 
root:x:0:0:root:/root:/bin/bash
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
[root@centos6 sed]# sed -n '/r+t/'p test.txt 
[root@centos6 sed]# sed -n '/r\+t/'p test.txt               # +是特殊符号，须要就转义符
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
[root@centos6 sed]# sed -nr '/r+t/'p test.txt               #  -r 表示托义
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
[root@centos6 sed]# sed -nr '/o{2}/'p test.txt              #表示重复两次o
root:x:0:0:root:/root:/bin/bash
ahkdhfa:r>oo:dfsa:13243
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin

[root@centos6 sed]# sed -nr '/root|bus/'p test.txt               #  |表示或者
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@centos6 sed]# sed -n '2'p test.txt                             #  表示打印第2行
qwwwewer
[root@centos6 sed]# wc -l test.txt 
24 test.txt
[root@centos6 sed]# sed -n '20,$'p test.txt                            #打印20至最后一行
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
[root@centos6 sed]# sed -n '1,$'p test.txt                               #从第一行打印到最后一行

[root@centos6 sed]# sed -n -e '1'p -e '/bus/'p test.txt              #打印第一行或打印带bus的行
root:x:0:0:root:/root:/bin/bash
[root@centos6 sed]# sed -n -e '1'p -e '/root/'p test.txt              #若是两条命令同时匹配一行，这一行会重复打印两次
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@centos6 sed]# sed -n -e '1'p -e '/bus/'Ip test.txt              # -I匹配大小写
root:x:0:0:root:/root:/bin/bash
ahkdhfa:r>oo:dfsa:13243:buS
[root@centos6 sed]# sed -n '/bus/'Ip test.txt 
ahkdhfa:r>oo:dfsa:13243:buS
[root@centos6 sed]# sed  '1,20'd test.txt                             #  删除1-20行  ，结果显示在屏幕上，可是不会修改源文件
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
[root@centos6 sed]# wc -l test.txt 
24 test.txt
[root@centos6 sed]# sed -i '1,20'd test.txt                             #加-i选项会直接修改源文件
[root@centos6 sed]# wc -l test.txt 
4 test.txt
[root@centos6 sed]# cat test.txt 
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
[root@centos6 sed]# sed -i '/ntp/'d test.txt                             # 删除包含ntf的行
[root@centos6 sed]# cat test.txt 
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
[root@centos6 sed]# sed '1,10s/root/toor/g' test.txt                 #替换1-10行的root为toor  s表示要替换的字符，g表示全局替换。
toor:x:0:0:toor:/toor:/bin/bash
[root@centos6 sed]# sed -r '1,10s/ro+/r/g' test.txt |head       #混合正则表达式使用,+表示前边的字符重复1-n次。
rt:x:0:0:rt:/rt:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

[root@centos6 sed]# head test.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
[root@centos6 sed]# head test.txt |sed -r 's/([^:]+):(.*):([^:]+)/\3:\2:\1:/'
/bin/bash:x:0:0:root:/root:root:
/sbin/nologin:x:1:1:bin:/bin:bin:
/sbin/nologin:x:2:2:daemon:/sbin:daemon:
/sbin/nologin:x:3:4:adm:/var/adm:adm:
/sbin/nologin:x:4:7:lp:/var/spool/lpd:lp:
/bin/sync:x:5:0:sync:/sbin:sync:
/sbin/shutdown:x:6:0:shutdown:/sbin:shutdown:
/sbin/halt:x:7:0:halt:/sbin:halt:
/sbin/nologin:x:8:12:mail:/var/spool/mail:mail:
/sbin/nologin:x:10:14:uucp:/var/spool/uucp:uucp:
[root@centos6 sed]# head test.txt |sed 's/[a-zA-Z]//g'       #去掉前十行大小写字母
::0:0::/://
::1:1::/://
::2:2::/://
::3:4:://://
::4:7::///://
::5:0::/://
::6:0::/://
::7:0::/://
::8:12::///://
::10:14::///://
[root@centos6 sed]# head test.txt |sed -r 's/(.*)/aaa:\1/'         #全部行前加aaa:  ，\1用来表示第一个括号内的内容
aaa:root:x:0:0:root:/root:/bin/bash
aaa:bin:x:1:1:bin:/bin:/sbin/nologin
aaa:daemon:x:2:2:daemon:/sbin:/sbin/nologin
aaa:adm:x:3:4:adm:/var/adm:/sbin/nologin
aaa:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
aaa:sync:x:5:0:sync:/sbin:/bin/sync
aaa:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
aaa:halt:x:7:0:halt:/sbin:/sbin/halt
aaa:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
aaa:uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
[root@centos6 sed]# head test.txt |sed -r 's/(.*)/aaa:&/'             #  \1也能够用&符号表示
aaa:root:x:0:0:root:/root:/bin/bash
aaa:bin:x:1:1:bin:/bin:/sbin/nologin
aaa:daemon:x:2:2:daemon:/sbin:/sbin/nologin
aaa:adm:x:3:4:adm:/var/adm:/sbin/nologin
aaa:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
aaa:sync:x:5:0:sync:/sbin:/bin/sync
aaa:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
aaa:halt:x:7:0:halt:/sbin:/sbin/halt
aaa:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
aaa:uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

#查找替换 ，特俗状况下须要拖义或者更换符号。

[root@zgxlinux-01 ~]# head -n1 test.txt 
ROOT:x:0:0:ROOT:ROOT:/bin/bash
[root@zgxlinux-01 ~]# head -n1 test.txt |sed 's@/bin/bash@123@g'
ROOT:x:0:0:ROOT:ROOT:123
[root@zgxlinux-01 ~]# head -n1 test.txt |sed 's/\/bin\/bash/123/g'
ROOT:x:0:0:ROOT:ROOT:123