awk

1、awk

1. awk的工做原理

逐行读取文本，默认以空格或tab键为分隔符进行分割，将分割所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
sed命令经常使用语一整行的处理，而awk比较倾向于将一行分红多个“字段”而后再进行处理。awk信息的读入也是逐行读取的，执行结果能够经过print的功能将字段数据打印显示。在使用awk命令的过程当中，可使用逻辑操做符“&&”表示“与”、“||”表示“或”、“！”表示“非”；还能够进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

2. 命令格式

awk 选项 '模式或条件 {操做}' 文件1 文件2 ……
awk -f 脚本文件 文件1 文件2 ……

3. awk常见的内建变量（可直接用）

内建变量	说明
FS	列分隔符。指定每行文本的字段分隔符，默认为空格或制表位。与“-F”做用相同
NF	当前处理的行的字段个数
NR	当前处理的行的行号（序数）
$0	当前处理的行的整行内容
$n	当前处理行的第n个字段（第n列）
FILENAME	被处理的文件名
RS	行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是“\n”

2、操做实例

1. 按行输出文本

awk '{print}' 文件名

输出全部内容

[root@localhost ~]# cat test.txt 11 22 33 44 [root@localhost ~]# awk '{print}' test.txt 11 22 33 44 

awk '{print $0}' 文件名
输出全部内容

[root@localhost ~]# awk '{print $0}' test.txt 11 22 33 44 

awk 'NR==n,NR==m {print}' 文件名
输出第n行至第m行的内容

[root@localhost ~]# awk 'NR==1,NR==3 {print $0}' test.txt 11 22 33 

awk '(NR>=n) && (NR<=m) {print}' 文件名
输出第n行至第m行的内容

[root@localhost ~]# awk '(NR>=1) && (NR<=3) {print}' test.txt 11 22 33 

awk 'NR==n || NR==m {print}' 文件名
输出第n行和第m行的内容

[root@localhost ~]# awk 'NR==1 || NR==3 {print}' test.txt 11 33 

awk '(NR%2)==1 {print}' 文件名
输出全部奇数行的内容

[root@localhost ~]# awk '(NR%2)==1 {print}' test.txt 11 33 

awk '(NR%2)==0 {print}' 文件名
输出全部偶数行的内容

[root@localhost ~]# awk '(NR%2)==1 {print}' test.txt 22 44 

awk '/^a/ {print}' 文件名
输出以字符串a开头的行

[root@localhost ~]# awk '/^3/ {print}' test.txt 33 

awk '/a$/ {print}' 文件名
输出以字符串a结尾的行

[root@localhost ~]# awk '/4$/ {print}' test.txt 44 

awk 'BEGIN {x=0}; /^a/ {x++}; END {print x}' 文件名
输出文件中以字符串a开头行的数量

BEGIN模式表示，在处理指定的文本以前，须要先执行BEGIN模式中指定的动做；awk再处理指定的文本，以后再执行END模式中指定的动做，END{}语句块中，每每会放入打印结果等语句。

[root@localhost ~]# awk 'BEGIN{X=0}; /^root/ {x++}; END{print x}' /etc/passwd 1 [root@localhost ~]# awk 'BEGIN{X=0}; /nologin$/ {x++}; END{print x}' /etc/passwd 39 

2. 按字段输出文本

awk -F ":" '{print $n}' 文件名
以:号为分隔符，输出每行的第n个字段

[root@localhost ~]# awk -F ":" '{print $1}' /etc/passwd root bin daemon adm lp sync shutdown halt mail operator games ftp nobody systemd-network dbus polkitd abrt libstoragemgmt rpc colord saslauth setroubleshoot rtkit pulse qemu ntp radvd chrony tss usbmuxd geoclue sssd gdm rpcuser nfsnobody gnome-initial-setup avahi postfix sshd tcpdump 123456 named dhcpd apache 

awk -F ":" '{print $n,$m}' 文件名
以:号为分隔符，输出每行的第n个和第m个字段

[root@localhost ~]# awk -F ":" '{print $1,$3}' /etc/passwd root 0 bin 1 daemon 2 adm 3 lp 4 sync 5 shutdown 6 halt 7 mail 8 operator 11 games 12 ftp 14 nobody 99 systemd-network 192 dbus 81 polkitd 999 abrt 173 libstoragemgmt 998 rpc 32 colord 997 saslauth 996 setroubleshoot 995 rtkit 172 pulse 171 qemu 107 ntp 38 radvd 75 chrony 994 tss 59 usbmuxd 113 geoclue 993 sssd 992 gdm 42 rpcuser 29 nfsnobody 65534 gnome-initial-setup 991 avahi 70 postfix 89 sshd 74 tcpdump 72 123456 1000 named 25 dhcpd 177 apache 48 

awk -F ":" '$n<m {print $n}' 文件名
以:号为分隔符，当第n个字段小于m时，输出第n个字段

[root@localhost ~]# awk -F ":" '$3<5 {print $1,$3}' /etc/passwd root 0 bin 1 daemon 2 adm 3 lp 4 

awk -F ":" '!($n<m) {print}' 文件名
以:号为分隔符，当第n个字段不小于m时，输出整行内容

[root@localhost ~]# awk -F ":" '!($3<200) {print}' /etc/passwd polkitd:x:999:997:User for polkitd:/:/sbin/nologin libstoragemgmt:x:998:995:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin colord:x:997:994:User for colord:/var/lib/colord:/sbin/nologin saslauth:x:996:76:Saslauthd user:/run/saslauthd:/sbin/nologin setroubleshoot:x:995:993::/var/lib/setroubleshoot:/sbin/nologin chrony:x:994:990::/var/lib/chrony:/sbin/nologin geoclue:x:993:988:User for geoclue:/var/lib/geoclue:/sbin/nologin sssd:x:992:987:User for sssd:/:/sbin/nologin nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin gnome-initial-setup:x:991:986::/run/gnome-initial-setup/:/sbin/nologin 123456:x:1000:1000:123456:/home/123456:/bin/bash 

awk 'BEGIN {FS=":"}; {if ($n>=m) {print}}' 文件名
以:号为分隔符，当第n列大于等于m时，输出整行内容

[root@localhost ~]# awk 'BEGIN {FS=":"}; {if ($3>=1000) {print}}' /etc/passwd nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin 123456:x:1000:1000:123456:/home/123456:/bin/bash 

awk -F ":" '{max=($n>=$m) ? $n : $m; {print max}}' 文件名
三元运算符。以:号为分隔符，若是第n个字段的值大于等于第m个字段的值，则把第n个字段的值赋给max，不然把第m个字段的值赋给max

[root@localhost ~]# awk -F ":" '{max=($3>=$4) ? $3 : $4; {print max}}' /etc/passwd 0 1 2 4 7 5 6 7 12 11 100 50 99 192 81 999 173 998 32 997 996 995 172 171 107 38 75 994 59 113 993 992 42 29 65534 991 70 89 74 72 1000 25 177 48 

awk -F ":" '{print NR,$0}' 文件名
以:号为分隔符，处理每行内容和行号，没处理完一条记录，NR值加1

[root@localhost ~]# awk -F ":" '{print NR,$0}' /etc/passwd 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin 4 adm:x:3:4:adm:/var/adm:/sbin/nologin 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 8 halt:x:7:0:halt:/sbin:/sbin/halt 9 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin 10 operator:x:11:0:operator:/root:/sbin/nologin 11 games:x:12:100:games:/usr/games:/sbin/nologin 12 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 13 nobody:x:99:99:Nobody:/:/sbin/nologin 14 systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin 15 dbus:x:81:81:System message bus:/:/sbin/nologin 16 polkitd:x:999:997:User for polkitd:/:/sbin/nologin 17 abrt:x:173:173::/etc/abrt:/sbin/nologin 18 libstoragemgmt:x:998:995:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin 19 rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin 20 colord:x:997:994:User for colord:/var/lib/colord:/sbin/nologin 21 saslauth:x:996:76:Saslauthd user:/run/saslauthd:/sbin/nologin 22 setroubleshoot:x:995:993::/var/lib/setroubleshoot:/sbin/nologin 23 rtkit:x:172:172:RealtimeKit:/proc:/sbin/nologin 24 pulse:x:171:171:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin 25 qemu:x:107:107:qemu user:/:/sbin/nologin 26 ntp:x:38:38::/etc/ntp:/sbin/nologin 27 radvd:x:75:75:radvd user:/:/sbin/nologin 28 chrony:x:994:990::/var/lib/chrony:/sbin/nologin 29 tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin 30 usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin 31 geoclue:x:993:988:User for geoclue:/var/lib/geoclue:/sbin/nologin 32 sssd:x:992:987:User for sssd:/:/sbin/nologin 33 gdm:x:42:42::/var/lib/gdm:/sbin/nologin 34 rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin 35 nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin 36 gnome-initial-setup:x:991:986::/run/gnome-initial-setup/:/sbin/nologin 37 avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin 38 postfix:x:89:89::/var/spool/postfix:/sbin/nologin 39 sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin 40 tcpdump:x:72:72::/:/sbin/nologin 41 123456:x:1000:1000:123456:/home/123456:/bin/bash 42 named:x:25:25:Named:/var/named:/sbin/nologin 43 dhcpd:x:177:177:DHCP server:/:/sbin/nologin 44 apache:x:48:48:Apache:/usr/share/httpd:/sbin/nologin 

awk -F ":" '$n~ "a" {print $m}' 文件名
以:号为分隔符，输出第n个字段中含有字符串a的行的第m个字段

[root@localhost ~]# awk -F ":" '$7~ "/bash" {print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash 123456:x:1000:1000:123456:/home/123456:/bin/bash 

awk -F ":" '($n~ "a") && (NF==m) {print}' 文件名
以:号为分隔符，输出第n个字段中含有字符串a且有m个字段的行

[root@localhost ~]# awk -F ":" '($1~ "root") && (NF==7) {print $1,$2}' /etc/passwd root x 

awk -F “:” '($n != "a") && ($m != "b") {print}' 文件名
以:号为分隔符，输出第n个字段既不是字符串a也不是字符串b的行

[root@localhost ~]# awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin") {print}' /etc/passwd sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt 

经过管道、双引号调用Shell命令

echo $PATH | awk 'BEGIN{RS=":"}; END{print NR}'
以:号为分隔符，输出总字段数

[root@localhost ~]# echo $PATH /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin [root@localhost ~]# echo $PATH | awk 'BEGIN{RS=":"}; END{print NR}' 5 

awk -F: '/a$/ {print | "wc -l"}' 文件名
以:号为分隔符，统计以字符串a为结尾的行的行数，同等于“grep -c”命令

[root@localhost ~]# awk -F: '/bash$/ {print | "wc -l"}' /etc/passwd 2 [root@localhost ~]# grep -c "/bash"$ /etc/passwd 2 

free -m | awk '/Mem:/ {print int($3/($3+$4)*100)"%"}'
查看当前内存使用百分比

[root@localhost ~]# free -m total used free shared buff/cache available Mem: 1984 326 1257 9 400 1439 Swap: 4095 0 4095 [root@localhost ~]# free -m | awk '/Mem:/ {print int($3/($3+$4)*100)"%"}' 20% 

top -b -n 1 | grep Cpu | awk -F "," '{print $4}' | awk '{print $1}'
查看当前CPU空闲率,"-b -n 1"表示只须要1次的输出结果

[root@localhost ~]# top -b -n 1 | grep Cpu | awk -F "," '{print $4}' | awk '{print $1}' 97.0 

date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago" +"%F %H:%M:%S"
显示上次系统重启时间，等同于uptime；“second ago”为显示多少秒前的时间，+"%F %H:%M:%S"为时间格式，%F等同于%Y-%m-%d。

[root@localhost ~]# date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago" +"%F %H:%M:%S" 2021-07-29 11:07:15 

awk 'BEGIN {N=0; while ("w" | getline) n++; {print n=2}}'
调用w命令，并用来统计在线用户数

[root@localhost ~]# awk 'BEGIN {N=0; while ("w" | getline) n++; {print n=2}}' 2 

awk 'BEGIN {"hostname" | getline; {print}}'
调用hostname，并输出当前的主机名

[root@localhost ~]# awk 'BEGIN {"hostname" | getline; {print}}' localhost.localdomain 

注：当getline左右无重定向符“<”或“|”时，awk首先读取到了第一行，就是1，而后getline，就获得了1下面的第二行，就是2，由于getline以后，awk会改变对应的NF,FNR和$0等内部变量，因此此时的$0的值就再也不是1，而是2了，而后将它打印出来。
当getline左右有重定向符“<”或“|”时，getline则做用于定向输入文件，因为该文件是刚打开，并无被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。
FNR：awk当前读取的记录数，其变量值小于等于NR（好比当读取第二个文件时，FNR是从0开始从新计数，而NR不会），所以可以使用“NR==FNR”来判断是否在读取第一个文件。

[root@localhost ~]# seq 10 | awk '{getline; print}' 2 4 6 8 10 [root@localhost ~]# seq 10 | awk '{print; getline}' 1 3 5 7 9 

CPU使用率

[root@localhost ~]# cat cpu.sh #!/bin/bash cpu_us=`top -b -n 1 | grep Cpu | awk '{print $2}'` echo $cpu_us cpu_sy=`top -b -n 1 | grep Cpu | awk -F ',' '{print $2}' | awk '{print $1}'` echo $cpu_sy echo "$cpu_us+$cpu_sy" | bc [root@localhost ~]# ./cpu.sh 0.0 3.1 3.1 

echo "A B C D" | awk '{OFS="|"; print $0 ;$1=$1; print $0}'

$1=$1是用来从新激活$0的从新赋值，也就是说每个字段和字段数NF的改变会促使awk从新计算$0的值，一般是在改变OFS后面须要输出$0时这样作。

[root@localhost ~]# echo "A B C D" | awk '{OFS="|"; print $0 ;$1=$1; print $0}' A B C D A|B|C|D 

3. awk数组循环

1.使用awk创建数组

awk 'BEGIN {a[0]=10; a[1]=20; print a[0]}'                    

awk 'BEGIN {a[0]=10; a[1]=20; print a[1]}'

[root@localhost ~]# awk 'BEGIN {a[0]=10; a[1]=20; print a[0]}' 10 [root@localhost ~]# awk 'BEGIN {a[0]=10; a[1]=20; print a[1]}' 20 

awk 'BEGIN {a["abc"]=10; a["xyz"]=20; print a["abc"]}'
awk 'BEGIN {a["abc"]=10; a["xyz"]=20; print a["xyz"]}'

[root@localhost ~]# awk 'BEGIN {a["abc"]=10; a["xyz"]=20; print a["abc"]}' 10 [root@localhost ~]# awk 'BEGIN {a["abc"]=10; a["xyz"]=20; print a["xyz"]}' 20 

awk 'BEGIN {a["abc"]="aabbcc"; a["xyz"]="xxyyzz"; print a["abc"]}'
awk 'BEGIN {a["abc"]="aabbcc"; a["xyz"]="xxyyzz"; print a["xyz"]}'

[root@localhost ~]# awk 'BEGIN {a["abc"]="aabbcc"; a["xyz"]="xxyyzz"; print a["abc"]}' aabbcc [root@localhost ~]# awk 'BEGIN {a["abc"]="aabbcc"; a["xyz"]="xxyyzz"; print a["xyz"]}' xxyyzz 

awk 'BEGIN {a[0]=10; a[1]=20; a[2]=30; for (i in a) {print i,a[i]}}'

[root@localhost html]# awk 'BEGIN {a[0]=10; a[1]=20; a[2]=30; for (i in a) {print i,a[i]}}' 0 10 1 20 2 30 

注1：BEGIN中的命令只执行一次
注2：awk数组的下标除了可使用数字，也可使用字符串，字符串须要使用双引号

2. awk循环遍历

[root@localhost ~]# cat test1.txt aaa aaa bbb ccc aaa bbb aaa [root@localhost ~]# awk '{a[1]++} END{for(i in a) {print a[i]}}' test1.txt 7 

注:a[1]初始为0，a[1]++后即为1，而这里awk中的a[1]++最终的值是由test1.txt文本内容有多少行决定的，文本逐行读取完毕后再执行END中的命令。

使用awk获取文件test1.txt中的重复行及次数

[root@localhost ~]# awk '{a[$1]++} END{for(i in a) {print a[i],i}}' test1.txt 4 aaa 1 ccc 2 bbb [root@localhost ~]# awk '{a[$1]++} END{for(i in a) {print a[i],i}}' test1.txt | sort -r 4 aaa 2 bbb 1 ccc 

注：也可以使用sort排序后经过“uniq -c”获取重复行次次数。以上操做是咱们在平常工做中经常使用的运维手段，crontab平常监控以及排障时常常用获得。
扩展--运维工做经常使用的查看命令或文件

监控项目	监控命令或文件
cpu负载	uptime
内存容量	free -m
硬盘空间	df -h
网卡流量	ifconfig 网卡名称（如ens33）
安装的软件包数量	rpm -qa | wc -l
帐户数量	/etc/passwd
当前登陆的帐户数量	who
进程数量	ps aux
异常登陆信息	/var/log/secure

例如：
使用awk统计httpd访问日志中每一个客户端IP的出现次数
awk '{ip[$1]++} END{for (i in ip) {print ip[i],i}}' /var/log/httpd/access_log | sort -r

[root@localhost ~]# awk '{ip[$1]++} END{for (i in ip) {print ip[i],i}}' /var/log/httpd/access_log | sort -r 82 192.168.122.88 

注：定义数组，数组名称为ip，数字的下标为日志文件的第1列（也就是客户端的IP地址），++的目的在于对客户端进行统计技术，客户端IP出现一次计数器就加1.END中的指令在读取完文件后执行，经过循环将全部统计信息输出，for循环遍历的是数组名ip的下标。