第6周第5课：复习

awk 中使用外部shell变量

如：A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’

说明：-v选项用于定义参数，这里表示将变量A的值赋予GET_A。 有多少个变量须要赋值，就须要多少个-v选项。与之等价的：应用于脚本中：

#! /bin/bash
sort -n filename |awk -F ':' '{print $1}'|uniq >id.txt
for id in `cat id.txt`; do
        echo "[$id]"
        awk -v id2=$id -F ':' '$1==id2 {print $2}' filename  // 另外的方式为: awk -F ':' '$1=="'id'" {print $2}' filename  
done

附件：cat filename

1111111:13443253456
2222222:13211222122
1111111:13643543544
3333333:12341243123
2222222:12123123123

运行脚本后结果为：

[1111111]
13443253456
13643543544
[2222222]
13211222122
12123123123
[3333333]
12341243123

awk 合并一个文件

我有这样的需求，须要把两个文件中，第一列相同的行合并到同一行中。举个例子，有两个文件，内容以下：

cat 1.txt

1 aa
2 bb
3 ee
4 ss

cat 2.txt

1 ab
2 cd
3 ad
4 bd
5 de

合并后的结果为：

1 ab aa
2 cd bb
3 ad ee
4 bd ss
5 de

实现的命令为：

awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}' 1.txt 2.txt

解释：NR表示读取的行数，FNR表示读取的当前行数。因此其实NR==FNR 就表示读取2.txt的时候。 同理NR>FNR表示读取1.txt的时候 数组a其实就至关于一个map

把一个文件多行链接成一行

a=`cat file`;echo $a 
awk '{printf("%s ",$0)}' file   // %s 后记得要有一空格，不然出来就是彻底连在一块儿的，中间连空格都没有
cat file |xargs

awk中gsub函数的使用

awk 'gsub(/www/,"abc")' /etc/passwd  // passwd文件中把全部www替换为abc
awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd  // 替换$1中的www为abc

awk 截取指定多个域为一行

for j in `seq 0 20`; do
        let x=100*$j
        let y=$x+1
        let z=$x+100
        for i in `seq $y $z` ; do
                awk  -v a=$i '{printf $a " "}' example.txt >>/tmp/test.txt
                echo " " >>/tmp/test.txt
        done
done

grep 或 egrep 或awk 过滤两个或多个关键词

grep -E '123|abc' filename  // 找出文件（filename）中包含123或者包含abc的行
egrep '123|abc' filename    //用egrep一样能够实现
awk '/123|abc/'  filename // awk 的实现方式

用awk编写生成如下结构文件的程序

用awk编写生成如下结构文件的程序。(最后列使用如今的时间，时间格式为YYYYMMDDHHMISS) 各列的值应以下所示，每增长一行便加1，共500万行。

1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,2005100110101
2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,2005100110101

方法1：

[root@greenfinch awk]# awk 'BEGIN{for(i=1;i<=10;i++)printf("%d,%d,%010d,%010d,%010d,%010d,%010d,%010d,%d\n",i,i,i,i,i,i,i,i,strftime("%Y%m%d%H%M"))}'
1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,201709090615
2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,201709090615
3,3,0000000003,0000000003,0000000003,0000000003,0000000003,0000000003,201709090615
4,4,0000000004,0000000004,0000000004,0000000004,0000000004,0000000004,201709090615
5,5,0000000005,0000000005,0000000005,0000000005,0000000005,0000000005,201709090615
6,6,0000000006,0000000006,0000000006,0000000006,0000000006,0000000006,201709090615
7,7,0000000007,0000000007,0000000007,0000000007,0000000007,0000000007,201709090615
8,8,0000000008,0000000008,0000000008,0000000008,0000000008,0000000008,201709090615
9,9,0000000009,0000000009,0000000009,0000000009,0000000009,0000000009,201709090615
10,10,0000000010,0000000010,0000000010,0000000010,0000000010,0000000010,201709090615

若是要写多几行，就把这里的10改为须要的数字便可，例如：20 {for(i=1;i<=20;i++)

%010d: 0000000001 恰好10个数字。

方法2：

awk 没有研究透彻，因此只能用shell搞起。
#! /bin/bash

for i in `seq 1 5000000`; do
    n=`echo "$i"|awk '{print length($0)}'`
    export m=$[10-$n]
    export o=`perl -e '$a='0'; $b=$a x $ENV{"m"}; print $b;'`
    export j=$i
    p=`perl -e '$c=$ENV{"o"}.$ENV{"j"}; print $c;'`
    echo "$i,$i,$p,$p,$p,$p,$p,$p,`date +%Y%m%d%H%M%S`"
done
其中用到了perl，因此脚本总体看起来比较啰嗦，但愿能找到更好的解决办法。
PS: shell 执行效率很低，so 该脚本运行时间会很漫长！

第2种方法：

#!/bin/bash

for i in `seq 1 10`
do
n=`echo $i|awk '{print length($0)}'`
n_0=$[10-$n]
c_0=""
for j in `seq 1 $n_0`
do
c_0="$c_0"0""
done
echo $i,$i,$c_0$i,$c_0$i,$c_0$i,`date +%Y%m%d%H%M%S`
done

awk用print打印单引号

[root@greenfinch awk]# awk '{print "This is a '"' "'" $1}' test.txt
This is a ' root:x:0:0:root:/root:/bin/bash
This is a ' bin:x:1:1:bin:/bin:/sbin/nologin
This is a ' daemon:x:2:2:daemon:/sbin:/sbin/nologin
This is a ' adm:x:3:4:adm:/var/adm:/sbin/nologin
This is a ' lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
This is a ' sync:x:5:0:sync:/sbin:/bin/sync
This is a ' shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
This is a ' halt:x:7:0:halt:/sbin:/sbin/halt
This is a ' mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
This is a ' operator:x:11:0:operator:/root:/sbin/nologin
This is a ' games:x:12:100:games:/usr/games:/sbin/nologin

说明：在awk中使用脱义字符\是起不到做用的，若是想打印特殊字符，只能使用'""' 这样的组合才能够。

这里自左至右为单引号 双引号 双引号 单引号其中两个单引号为一对，两个双引号为一对。想脱义$那就是'"$"'。脱义单引号那就是 '"'"'

把两个文件中相同的行合并成一行

[root@greenfinch awk]# cat a.txt
1 2 3
4 5 6
a b c

[root@greenfinch awk]# cat b.txt
3 2 1
6 5 4
c b a

[root@greenfinch awk]# paste a.txt b.txt
1 2 3	3 2 1
4 5 6	6 5 4
a b c	c b a

若是想在两个文件链接处用一个指定的字符链接，还能够用-d来指定。

[root@greenfinch awk]# paste -d '+' a.txt b.txt
1 2 3+3 2 1
4 5 6+6 5 4
a b c+c b a