Linux shell基础（六）awk命令 ver0.2

1、awk命令

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理（gawk - pattern scanning and processing language）。centos7中的awk是gawk的连接。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。前面的grep、sed只是单纯的工具，而awk已是一门语言了，可见awk的功能将比较强大

用法：
awk -F '分割记号' ‘script’ files
awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)

选项：
-F fs fs指定输入分隔符，fs能够是字符串或正则表达式，如-F:
-v var=value 赋值一个用户定义变量，将外部变量传递给awk
-f scripfile 从脚本文件中读取awk命令

2、对文本竖列的操做

awk命令可以方便的经过指定分隔记号将文本分红特定的列，而后在针对分出来的竖列进行操做

一、显示test.txt文档的第一列前5行。

awk -F ':' '{print $1}' test.txt | head -n 5

命令解释：-F ':' 就是说这个文件以：做为分隔符，咱们作实验的是passwd文件，它自己就被：分割成了7段，'{}'中就是操做的描述，命令中的print $1 就是显示第1列。

二、显示test.txt文件全部竖列的内容

awk -F ':' '{print $0}' test.txt
awk '{print $0}' test.txt

注意与上一条命令的区别，$1表示第一列，$0表示全部列。

效果上其实和cat同样。

三、awk也能够
awk命令在没有指定-F 分割符号或分割字符串时，默认以空格或者空白段做为分隔符

咱们先建立一个测试文档，以空格做为分隔符

后咱们输入下列命令

awk '{print $1}'
awk '{print $1,$3}'
awk '{print $1,$2}'

能够看出awk自动把空格做为分段记号，无论是多少个空格。

四、指定#为显示分隔符显示特定列（注意不会影响原始文件，只是影响显示）

awk -F ':' '{print $1"#"$3"#"$7}' test.txt

3、awk匹配功能举例

awk 搜索操做时与sed命令同样,awk默认支持正则，不须要像grep -E ， sed -r 同样须要专门选项。
一、搜索含关键字root的行

awk '/root/' test.txt

二、搜索第一竖列中含有oo字符的行。

sed -F ':' '$1 ~/oo/' test.txt

注意这个波浪号~就是匹配的意思。

三、搜索root和test任意匹配其中一个所在的行的第一列和第三列

awk -F ':' '/root/{$1,$3} /test/{$1,$3}' test.txt
awk -F ':' '/root|test/ {print $0}' test.txt

四、搜索分割后第三段==0的行,也就是uid是零的行。

awk -F ':' '$3==0' test.txt

这一列也能够拓展到其余数学表达式

awk -F ':' '$3>=1000' test.txt

awk -F ':' '$3<=100' test.txt

五、搜索分割后最后不是/sbin/nologin的行

awk -F ':' '$7!="/sbin/nologin" {print $1}' test.txt

写正则时两个注意点：一是否是什么的表达式为！=，二是字符串匹配时要用双引号

六、搜索第三列大于第四列或者第七列==/sbin/nologin的行

awk -F ':' '$3>$4||$7=="sbin/nologin"' test.txt

||表示或者，&&表示而且。

七、搜索第三列大于第四列和第七列==/sbin/nologin的行

awk -F ':' '$3>$4||$7&&"sbin/nologin"' test.txt

4、awk内置变量功能举例

awk命令自带了一些变量：
OFS：系统分隔符
NR:总行数变量
NF：分割后最大段数数值

一、列出第三列大于1000数字或者第七段包含/bash/的行，打印这些行的一、三、7段，而且用#作显示分隔符。

awk -F ':' '{OFS="#"} $3>1000|| $7 ~ /bash/ {print $1,$3,$7}' test.txt
awk -F ':' '{OFS="#"} {if （$3>1000|| $7 ~ /bash/）{print $1,$3,$7}}' test.txt

二、显示分段的最后一行

awk -F ':' '{print $NF}' test |head -n3

$NF 表示末段 NF表示段数，是一个数字

三、显示文件,并在每一行前加上行号==grep -n

awk -F ':' {print NR":"$0} test.txt
grep -n '' test.txt

四、显示前10行,同时复习sed写法。

awk -F':' 'NR<=10 {print $0}' test.txt
sed -n '1,10'p test.txt

同时复习sed写法

五、利用awk命令给$1f赋值

head -n3 test.txt| awk -F ':' '{OFS=":"} $1="root"' test.txt

注意与head -n3 test.txt| awk -F ':' '{OFS=":"} $1=="root"' test.txt的区别

5、awk数学运算举例

一、计算第三段的值的和

awk -F ':' '{(tot=tot+$3)}; END {print tot}' test.txt