【2018.04.27学习笔记】【linux基础知识9.6-9.7】

9.6 awk（上）

awk实际上是一种程序设计语言，叫样式扫描和处理语言。简单来讲awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各类分析处理。

命令格式：awk [选项] ' 模式 = ( {内置变量} + 表达式 + {动做} ) ' 文件名

表达式里能够是正则表达式：里面的查找关键词用 / /号括起来，如 /root/ 。 其中 “模式” 表示 awk 在数据中查找的内容、规则表达式和操做动做。花括号（{ }）不须要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。

awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其余文本操做。完整的awk脚本一般用来格式化文本文件中的信息。

一般，awk是以文件的一行为处理单位的。awk每接收文件的一行，而后执行相应的命令，来处理文本。

经常使用的awk功能是指定分隔符，对文件的行进行分段，而后再处理。

awk -F ':' '{print $1}' 1.txt ：指定用：号分隔行为几段，输出打印第一段。

-F 指定分隔符的选项： $1 表示第一段，$0 表示全部段。

[root@lgs-01 awk]# awk -F ':' '{print $1}' passwdtest 
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
systemd-network
dbus
polkitd
postfix
sshd
chrony
lgs
abc

[root@lgs-01 awk]# awk -F ':' '{print $0}' passwdtest 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
lgs:x:1008:1000::/home/lgs:/bin/bash
abc:x:1001:1000::/home/abc:/bin/bash

不用-F指定分隔符，默认以“空格” 或者“空白字符”为分隔符。

awk -F ':' '{print $2,$6,$7}'：打印多个段，以逗号,割开写，也能够用#号隔开写

[root@lgs-01 awk]# awk -F ':' '{print $2,$6,$7}' passwdtest 
x /root /bin/bash
x /bin /sbin/nologin
x /sbin /sbin/nologin
x /var/adm /sbin/nologin
x /var/spool/lpd /sbin/nologin
x /sbin /bin/sync
x /sbin /sbin/shutdown
x /sbin /sbin/halt
x /var/spool/mail /sbin/nologin
x /root /sbin/nologin
x /usr/games /sbin/nologin
x /var/ftp /sbin/nologin
x / /sbin/nologin
x / /sbin/nologin
x / /sbin/nologin
x / /sbin/nologin
x /var/spool/postfix /sbin/nologin
x /var/empty/sshd /sbin/nologin
x /var/lib/chrony /sbin/nologin
x /home/lgs /bin/bash
x /home/abc /bin/bash

awk -F ':' '$1 ~ /oo/' 1.txt ：第一段中包含oo的行。~号表示指定段落里包含oo的匹配

[root@lgs-01 awk]# awk -F ':' '$1 ~ /oo/' passwdtest 
root:x:0:0:root:/root:/bin/bash

awk -F ':' '$7~ /binn+/' 1.txt：支持正则，能够不用加转义字符。

[root@lgs-01 awk]# awk -F ':' '$7~ /binn+/' passwdtest 
1:2:3:4:5:6:binnn

支持运算符：

awk -F ':' '$3>=200 {print $0}' 1.txt ：若是 第三段大于等于0，就输出打印匹配行的全部段。

[root@lgs-01 awk]# awk -F ':' '$3>=200 {print $0}' passwdtest 
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
lgs:x:1008:1000::/home/lgs:/bin/bash
abc:x:1001:1000::/home/abc:/bin/bash

运算字符串要加" "号括起来：

awk -F ':' '$7!="/sbin/nologin" {print $0}' 1.txt：若是第7段不等于sbin，就输出打印匹配行的全部段。

[root@lgs-01 awk]# awk -F ':' '$7!="/sbin/nologin" {print $0}' passwdtest 
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
lgs:x:1008:1000::/home/lgs:/bin/bash
abc:x:1001:1000::/home/abc:/bin/bash

awk -F ':' '$3>$4' test.txt ：第3段与第4段的对比。

[root@lgs-01 awk]# awk -F ':' '$3>$4 {print $0}' passwdtest 
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
operator:x:11:0:operator:/root:/sbin/nologin
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
lgs:x:1008:1000::/home/lgs:/bin/bash
abc:x:1001:1000::/home/abc:/bin/bash
12:22:55

多个条件 匹配：

awk -F ':' '$3>5 && $4<7' 1.txt：第3段大于5，而且第4段小于7

[root@lgs-01 ~]# awk -F ':' '$3>5 && $4<7' passwdtest 
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
operator:x:11:0:operator:/root:/sbin/nologin
12:22:55

awk -F ':' '{OFS="#"} $3>1000 || $4<5 {print $1,$2,$3,$4} ' 1.txt：OFS变量，指定分隔符#号 输出打印指定段

[root@lgs-01 ~]# awk -F ':' '{OFS="#"} $3>1000 || $4<5 {print $1,$2,$3,$4}' passwdtest 
root#x#0#0
bin#x#1#1
daemon#x#2#2
adm#x#3#4
sync#x#5#0
shutdown#x#6#0
halt#x#7#0
operator#x#11#0
lgs#x#1008#1000
abc#x#1001#1000
12#22#55#
587#1##
12#21##
12#200##
1###
9###
51###
59###
abc#0##
abc#y##

9.7 awk（下）

awk -F ':' '{print NR ": " $0}' 1.txt：NR变量，显示行号。

[root@lgs-01 ~]# awk -F ':' '{print NR ": " $0}' passwdtest 
1: root:x:0:0:root:/root:/bin/bash
2: bin:x:1:1:bin:/bin:/sbin/nologin
3: daemon:x:2:2:daemon:/sbin:/sbin/nologin
4: adm:x:3:4:adm:/var/adm:/sbin/nologin
5: lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6: sync:x:5:0:sync:/sbin:/bin/sync
7: shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8: halt:x:7:0:halt:/sbin:/sbin/halt
9: mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10: operator:x:11:0:operator:/root:/sbin/nologin
11: games:x:12:100:games:/usr/games:/sbin/nologin
12: ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
13: nobody:x:99:99:Nobody:/:/sbin/nologin
14: systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
15: dbus:x:81:81:System message bus:/:/sbin/nologin
16: polkitd:x:999:997:User for polkitd:/:/sbin/nologin
17: postfix:x:89:89::/var/spool/postfix:/sbin/nologin
18: sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
19: chrony:x:998:996::/var/lib/chrony:/sbin/nologin
20: lgs:x:1008:1000::/home/lgs:/bin/bash
21: abc:x:1001:1000::/home/abc:/bin/bash

awk -F ':' 'NF==7 && $1 ~/root|sync/' 1.txt： NF变量，每行的段数。当NF等于7，且第一段含root或者a的，输出打印匹配的行。

[root@lgs-01 ~]# awk -F ':' 'NF==7 && $1 ~/root|a/' passwdtest 
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
abc:x:1001:1000::/home/abc:/bin/bash

awk -F ':' '{print $NR ":" $NF}' 1.txt：输出打印每行的第NR段:第NF段的字符对。NR、NF是一个数字变量，是每行的行号和段数。

当NR和NF前面不加 $号的时候： NR : NF，输出的是每行的 行号: 段数

[root@lgs-01 ~]# awk -F ':' '{print $NR ": " $NF } ' passwdtest 
root: /bin/bash
x: /sbin/nologin
2: /sbin/nologin
4: /sbin/nologin
lp: /sbin/nologin
/sbin: /bin/sync
/sbin/shutdown: /sbin/shutdown
: /sbin/halt
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /bin/bash
: /bin/bash

[root@lgs-01 ~]# awk -F ':' '{print NR ": " NF } ' passwdtest 
1: 7
2: 7
3: 7
4: 7
5: 7
6: 7
7: 7
8: 7
9: 7
10: 7
11: 7
12: 7
13: 7
14: 7
15: 7
16: 7
17: 7
18: 7
19: 7
20: 7
21: 7

awk -F ':' '$1="root"' 1.txt：=号，赋值的意思。：把全部行的第一段内容赋值为root。赋值后输出结果中，分隔符会消失，能够用OFS=":"定义。

[root@lgs-01 ~]# awk -F ':' '$1="root"' passwdtest 
root x 0 0 root /root /bin/bash
root x 1 1 bin /bin /sbin/nologin
root x 2 2 daemon /sbin /sbin/nologin
root x 3 4 adm /var/adm /sbin/nologin
root x 4 7 lp /var/spool/lpd /sbin/nologin
root x 5 0 sync /sbin /bin/sync
root x 6 0 shutdown /sbin /sbin/shutdown
root x 7 0 halt /sbin /sbin/halt
root x 8 12 mail /var/spool/mail /sbin/nologin
root x 11 0 operator /root /sbin/nologin
root x 12 100 games /usr/games /sbin/nologin
root x 14 50 FTP User /var/ftp /sbin/nologin
root x 99 99 Nobody / /sbin/nologin
root x 192 192 systemd Network Management / /sbin/nologin
root x 81 81 System message bus / /sbin/nologin
root x 999 997 User for polkitd / /sbin/nologin
root x 89 89  /var/spool/postfix /sbin/nologin
root x 74 74 Privilege-separated SSH /var/empty/sshd /sbin/nologin
root x 998 996  /var/lib/chrony /sbin/nologin
root x 1008 1000  /home/lgs /bin/bash
root x 1001 1000  /home/abc /bin/bash

[root@lgs-01 ~]# awk -F ':' '{OFS="#" } $1="root"' passwdtest 
root#x#0#0#root#/root#/bin/bash
root#x#1#1#bin#/bin#/sbin/nologin
root#x#2#2#daemon#/sbin#/sbin/nologin
root#x#3#4#adm#/var/adm#/sbin/nologin
root#x#4#7#lp#/var/spool/lpd#/sbin/nologin
root#x#5#0#sync#/sbin#/bin/sync
root#x#6#0#shutdown#/sbin#/sbin/shutdown
root#x#7#0#halt#/sbin#/sbin/halt
root#x#8#12#mail#/var/spool/mail#/sbin/nologin
root#x#11#0#operator#/root#/sbin/nologin
root#x#12#100#games#/usr/games#/sbin/nologin
root#x#14#50#FTP User#/var/ftp#/sbin/nologin
root#x#99#99#Nobody#/#/sbin/nologin
root#x#192#192#systemd Network Management#/#/sbin/nologin
root#x#81#81#System message bus#/#/sbin/nologin
root#x#999#997#User for polkitd#/#/sbin/nologin
root#x#89#89##/var/spool/postfix#/sbin/nologin
root#x#74#74#Privilege-separated SSH#/var/empty/sshd#/sbin/nologin
root#x#998#996##/var/lib/chrony#/sbin/nologin
root#x#1008#1000##/home/lgs#/bin/bash
root#x#1001#1000##/home/abc#/bin/bash

awk -F ':' '{(tot=tot+$3); END {print tot}}' 1.txt：求和一列。tot从0开始，累加每行的第三段的内容，直到尾行结束，而后输出toto的值。有变量的地方，都用{ }花括号括起来。

[root@lgs-01 ~]# awk -F ':' '{(tot=tot+$3)}; END {print tot}' passwdtest 
4669