awk工具扩展,数组

awk 中使用外部shell变量

如：
A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’
说明：-v选项用于定义参数，这里表示将变量A的值赋予GET_A。
有多少个变量须要赋值，就须要多少个-v选项。

例

#! /bin/bash
sort -n filename |awk -F ':' '{print $1}'|uniq >id.txt
for id in `cat id.txt`; do
        echo "[$id]"
        awk -v id2=$id -F ':' '$1==id2 {print $2}' filename  
// 另外的方式为: awk -F ':' '$1=="'id'" {print $2}' filename  
done
附件：
cat filename
1111111:13443253456
2222222:13211222122
1111111:13643543544
3333333:12341243123
2222222:12123123123
运行脚本后结果为：
[1111111]
13443253456
13643543544
[2222222]
13211222122
12123123123
[3333333]
12341243123

 合并两个文件

我有这样的需求，须要把两个文件中，第一列相同的行合并到同一行中。举个例子，有两个文件，内容以下
cat 1.txt
1 aa
2 bb
3 ee
4 ss

cat 2.txt
1 ab
2 cd
3 ad
4 bd
5 de

合并后的结果为：

1 ab aa
2 cd bb
3 ad ee
4 bd ss
5 de

实现的命令为：
awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}'  1.txt  2.txt

解释：NR表示读取的行数，FNR表示读取的当前行数
因此其实NR==FNR 就表示读取2.txt的时候。 同理NR>FNR表示读取1.txt的时候
数组a其实就至关于一个map
NR: 1 aa   FNR： 1 aa          NR==FNR时,$1=1234    a[$1]=$2 数组赋值
    2 bb         2 bb                   $2= aa bb ee ss     
    3 ee         3 ee          NR>FNR时：输出56789  a【$1】        
    4 ss         4 ss
    5 ab         1 ab
    6 cd         2 cd
    7 ad         3 ad
    8 bd         4 bd
    9 de         5 de

1,对于单个文件NR 和FNR 的 输出结果同样的 ：

# awk '{print NR,$0}' file1 
1 a b c d
2 a b d c
3 a c b d

#awk '{print FNR,$0}' file1 
1 a b c d
2 a b d c
3 a c b d 

2,可是对于多个文件 ：

# awk '{print NR,$0}' file1 file2
1 a b c d
2 a b d c
3 a c b d
4 aa bb cc dd
5 aa bb dd cc
6 aa cc bb dd

# awk '{print FNR,$0}' file1 file2
1 a b c d
2 a b d c
3 a c b d
1 aa bb cc dd
2 aa bb dd cc
3 aa cc bb dd

多行变一行

[root@glinux-01 ~]# cat 1.txt|xargs
3 2 1 c a b
或者
[root@glinux-01 ~]# awk '{printf("%s ",$0) }' 1.txt
3 2 1 c a b [root@glinux-01 ~]#

awk 替换功能

awk 'gsub(/www/,"abc")' /etc/passwd  // passwd文件中把全部www替换为abc
awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd  // 替换$1中的www为abc
awk 'sub(/www/,"abc")' /etc/passwd  // passwd文件中把第一次出现的www替换为abc

awk 截取指定多个域为一行

for j in `seq 0 20`; do
        let x=100*$j
        let y=$x+1
        let z=$x+100
        for i in `seq $y $z` ; do
                awk  -v a=$i '{printf $a " "}' example.txt >>/tmp/test.txt
                echo " " >>/tmp/test.txt
        done
done

匹配多个关键字  ，正则中 | 表示或者

grep -E '123|abc' filename  // 找出文件（filename）中包含123或者包含abc的行
egrep '123|abc' filename    //用egrep一样能够实现
awk '/123|abc/'  filename // awk 的实现方式

用awk编写生成如下结构文件的程序。( 最后列使用如今的时间，时间格式为YYYYMMDDHHMISS)  各列的值应以下所示，
每增长一行便加1，共500万行。

1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,2005100110101
2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,2005100110101

awk 'BEGIN{for(i=1;i<=10;i++)printf("%d,%d,%010d,%010d,%010d,%010d,%010d,%010d,%d\n"
,i,i,i,i,i,i,i,i,strftime("%Y%m%d%H%M"))}'

合并两个文件

paste  filename1  filename2 

这样就能够实现了。举个例子。
cat  a.txt
1 2 3 
4 5 6 
a b c

cat b.txt
3 2 1 
6 5 4 
c b a 

则  paste  a.txt  b.txt  结果为
1 2 3   3 2 1
4 5 6   6 5 4
a b c   c b a

若是，你想在两个文件链接处用一个指定的字符链接，还能够用-d来指定
paste -d '+'  a.txt b.txt
结果为
1 2 3+3 2 1
4 5 6+6 5 4
a b c+c b a