sort +awk+uniq 统计文件中出现次数最多的前10个单词

实例
cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1nr|head -100

统计文件中出现次数最多的前10个单词

使用linux命令或者shell实现：文件words存放英文单词，格式为每行一个英文单词（单词能够重复），统计这个文件中出现次数最多的前10个单词。

cat words.txt | sort | uniq -c | sort -k1,1nr | head -10

　　主要考察对sort、uniq命令的使用，相关解释以下，命令及参数的详细说明请自行经过man查看，简单介绍下以上指令各部分的功能：

sort:  对单词进行排序

uniq -c:  显示惟一的行，并在每行行首加上本行在文件中出现的次数

sort -k1,1nr:  按照第一个字段，数值排序，且为逆序

head -10:  取前10行数据

 

 

 

sort

sort是在Linux里很是经常使用的一个命令，管排序的，集中精力，五分钟搞定sort，如今开始！

1 sort的工做原理

sort将文件的每一行做为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear

2 sort的-u选项

它的做用很简单，就是在输出行中去除重复行。

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
pear
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear
pear
[rocrocket@rocrocket programming]$ sort -u seq.txt
apple
banana
orange
pear

pear因为重复被-u选项无情的删除了。

3 sort的-r选项

sort默认的排序方式是升序，若是想改为降序，就加个-r就搞定了。

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort number.txt
1
2
3
4
5
[rocrocket@rocrocket programming]$ sort -r number.txt
5
4
3
2
1

4 sort的-o选项

因为sort默认是把结果输出到标准输出，因此须要用重定向才能将结果写入文件，形如sort filename > newfile。

可是，若是你想把排序结果输出到原文件中，用重定向可就不行了。

[rocrocket@rocrocket programming]$ sort -r number.txt > number.txt
[rocrocket@rocrocket programming]$ cat number.txt
[rocrocket@rocrocket programming]$
看，居然将number清空了。

就在这个时候，-o选项出现了，它成功的解决了这个问题，让你放心的将结果写入原文件。这或许也是-o比重定向的惟一优点所在。

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort -r number.txt -o number.txt
[rocrocket@rocrocket programming]$ cat number.txt
5
4
3
2
1

5 sort的-n选项

你有没有遇到过10比2小的状况。我反正遇到过。出现这种状况是因为排序程序将这些数字按字符来排序了，排序程序会先比较1和2，显然1小，因此就将10放在2前面喽。这也是sort的一向做风。

咱们若是想改变这种现状，就要使用-n选项，来告诉sort，“要以数值来排序”！

[rocrocket@rocrocket programming]$ cat number.txt
1
10
19
11
2
5
[rocrocket@rocrocket programming]$ sort number.txt
1
10
11
19
2
5
[rocrocket@rocrocket programming]$ sort -n number.txt
1
2
5
10
11
19

6 sort的-t选项和-k选项

若是有一个文件的内容是这样：

[rocrocket@rocrocket programming]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4

这个文件有三列，列与列之间用冒号隔开了，第一列表示水果类型，第二列表示水果数量，第三列表示水果价格。

那么我想以水果数量来排序，也就是以第二列来排序，如何利用sort实现？

幸亏，sort提供了-t选项，后面能够设定间隔符。（是否是想起了cut和paste的-d选项，共鸣～～）

指定了间隔符以后，就能够用-k来指定列数了。

[rocrocket@rocrocket programming]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3

咱们使用冒号做为间隔符，并针对第二列来进行数值升序排序，结果很使人满意。

7 其余的sort经常使用选项

-f会将小写字母都转换为大写字母来进行比较，亦即忽略大小写

-c会检查文件是否已排好序，若是乱序，则输出第一个乱序的行的相关信息，最后返回1

-C会检查文件是否已排好序，若是乱序，不输出内容，仅返回1

-M会以月份来排序，好比JAN小于FEB等等

-b会忽略每一行前面的全部空白部分，从第一个可见字符开始比较。

有时候学习脚本，你会发现sort命令后面跟了一堆相似-k1,2，或者-k1.2 -k3.4的东东，有些匪夷所思。今天，咱们就来搞定它—-k选项！

1 准备素材

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

第一个域是公司名称，第二个域是公司人数，第三个域是员工平均工资。（除了公司名称，其余的别信，都瞎写的^_^）

2 我想让这个文件按公司的字母顺序排序，也就是按第一个域进行排序：（这个facebook.txt文件有三个域）

$ sort -t ‘ ‘ -k 1 facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

看到了吧，就直接用-k 1设定就能够了。（其实此处并不严格，稍后你就会知道）

3 我想让facebook.txt按照公司人数排序

$ sort -n -t ‘ ‘ -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

不用解释，我相信你能懂。

可是，此处出现了问题，那就是baidu和sohu的公司人数相同，都是100人，这个时候怎么办呢？按照默认规矩，是从第一个域开始进行升序排序，所以baidu排在了sohu前面。

4  我想让facebook.txt按照公司人数排序 ，人数相同的按照员工平均工资升序排序：

$ sort -n -t ‘ ‘ -k 2 -k 3 facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

看，咱们加了一个-k2 -k3就解决了问题。对滴，sort支持这种设定，就是说设定域排序的优先级，先以第2个域进行排序，若是相同，再以第3个域进行排序。（若是你愿意，能够一直这么写下去，设定不少个排序优先级）

5 我想让facebook.txt按照员工工资降序排序，若是员工人数相同的，则按照公司人数升序排序：（这个有点难度喽）

$ sort -n -t ‘ ‘ -k 3r -k 2 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

此处有使用了一些小技巧，你仔细看看，在-k 3后面偷偷加上了一个小写字母r。你想一想，再结合咱们上一篇文章，能获得答案么？揭晓：r和-r选项的做用是同样的，就是表示逆序。由于sort默认是按照升序排序的，因此此处须要加上r表示第三个域（员工平均工资）是按照降序排序。此处你还能够加上n，就表示对这个域进行排序时，要按照数值大小进行排序，举个例子吧：

$ sort -t ‘ ‘ -k 3nr -k 2n facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

看，咱们去掉了最前面的-n选项，而是将它加入到了每个-k选项中了。

6 -k选项的具体语法格式

要继续往下深刻的话，就不得不来点理论知识。你须要了解-k选项的语法格式，以下：

[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]

这个语法格式能够被其中的逗号（“，”）分为两大部分，Start部分和End部分。

先给你灌输一个思想，那就是“若是不设定End部分，那么就认为End被设定为行尾”。这个概念很重要的，但每每你不会重视它。

Start部分也由三部分组成，其中的Modifier部分就是咱们以前说过的相似n和r的选项部分。咱们重点说说Start部分的FStart和C.Start。

C.Start也是能够省略的，省略的话就表示从本域的开头部分开始。以前例子中的-k 2和-k 3就是省略了C.Start的例子喽。

FStart.CStart，其中FStart就是表示使用的域，而CStart则表示在FStart域中从第几个字符开始算“排序首字符”。

同理，在End部分中，你能够设定FEnd.CEnd，若是你省略.CEnd，则表示结尾到“域尾”，即本域的最后一个字符。或者，若是你将CEnd设定为0(零)，也是表示结尾到“域尾”。

7 突发奇想，从公司英文名称的第二个字母开始进行排序：

$ sort -t ‘ ‘ -k 1.2 facebook.txt
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000

看，咱们使用了-k 1.2，这就表示对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。你会发现baidu由于第二个字母是a而名列榜首。sohu和 google第二个字符都是o，但sohu的h在google的o前面，因此二者分别排在第二和第三。guge只能屈居第四了。

8 又突发奇想，，只针对公司英文名称的第二个字母进行排序，若是相同的按照员工工资进行降序排序：

$ sort -t ‘ ‘ -k 1.2,1.2 -k 3,3nr facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

因为只对第二个字母进行排序，因此咱们使用了-k 1.2,1.2的表示方式，表示咱们“只”对第二个字母进行排序。（若是你问“我使用-k 1.2怎么不行？”，固然不行，由于你省略了End部分，这就意味着你将对从第二个字母起到本域最后一个字符为止的字符串进行排序）。对于员工工资进行排 序，咱们也使用了-k 3,3，这是最准确的表述，表示咱们“只”对本域进行排序，由于若是你省略了后面的3，就变成了咱们“对第3个域开始到最后一个域位置的内容进行排序” 了。

9 在modifier部分还能够用到哪些选项？

能够用到b、d、f、i、n 或 r。

其中n和r你确定已经很熟悉了。

b表示忽略本域的签到空白符号。

d表示对本域按照字典顺序排序（即，只考虑空白和字母）。

f表示对本域忽略大小写进行排序。

i表示忽略“不可打印字符”，只针对可打印字符进行排序。（有些ASCII就是不可打印字符，好比\a是报警，\b是退格，\n是换行，\r是回车等等）

10 思考思考关于-k和-u联合使用的例子：

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

这是最原始的facebook.txt文件。

$ sort -n -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

$ sort -n -k 2 -u facebook.txt
guge 50 3000
baidu 100 5000
google 110 5000

当设定以公司员工域进行数值排序，而后加-u后，sohu一行就被删除了！原来-u只识别用-k设定的域，发现相同，就将后续相同的行都删除。

$ sort  -k 1 -u facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

$ sort  -k 1.1,1.1 -u facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500

这个例子也同理，开头字符是g的guge就没有幸免于难。

$ sort -n -k 2 -k 3 -u facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

咦！这里设置了两层排序优先级的状况下，使用-u就没有删除任何行。原来-u是会权衡全部-k选项，将都相同的才会删除，只要其中有一级不一样都不会轻易删除的:)（不信，你能够本身加一行sina 100 4500试试看）

11 最诡异的排序：

$ sort -n -k 2.2,3.1 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

以第二个域的第二个字符开始到第三个域的第一个字符结束的部分进行排序。

第一行，会提取0 3，第二行提取00 5，第三行提取00 4，第四行提取10 5。

又由于sort认为0小于00小于000小于0000….

所以0 3确定是在第一个。10 5确定是在最后一个。但为何00 5却在00 4前面呢？（你能够本身作实验思考一下。）

答案揭晓：原来“跨域的设定是个假象”，sort只会比较第二个域的第二个字符到第二个域的最后一个字符的部分，而不会把第三个域的开头字符归入比较范围。当发现00和00相同时，sort就会自动比较第一个域去了。固然baidu在sohu前面了。用一个范例便可证明：

$ sort -n -k 2.2,3.1 -k 1,1r facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

12 有时候在sort命令后会看到+1 -2这些符号，这是什么东东？

关于这种语法，最新的sort是这么进行解释的：

On older systems, `sort’ supports an obsolete origin-zero syntax `+POS1 [-POS2]‘ for specifying sort keys.  POSIX 1003.1-2001 (*note Standards conformance::) does not allow this; use `-k’ instead.

原来，这种古老的表示方式已经被淘汰了，之后能够义正词严的鄙视使用这种表示方法的脚本喽！

（为了防止古老脚本的存在，在这再说一下这种表示方法，加号表示Start部分，减号表示End部分。最最重要的一点是，这种方式方法是从0开始计数的，之前所说的第一个域，在此被表示为第0个域。之前的第2个字符，在此表示为第1个字符。明白？）

awkhttp://www.tsnc.edu.cn/default/tsnc_wgrj/doc/awk.htmTable of Contents1. awk简介2. awk命令格式和选项    2.1. awk的语法有两种形式    2.2. 命令选项3. 模式和操做    3.1. 模式    3.2. 操做4. awk的环境变量5. awk运算符6. 记录和域    6.1. 记录    6.2. 域    6.3. 域分隔符7. gawk专用正则表达式元字符8. POSIX字符集9. 匹配操做符(~)10. 比较表达式11. 范围模板12. 一个验证passwd文件有效性的例子13. 几个实例14. awk编程    14.1. 变量    14.2. BEGIN模块    14.3. END模块    14.4. 重定向和管道    14.5. 条件语句    14.6. 循环    14.7. 数组    14.8. awk的内建函数15. How-to1. awk简介awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据能够来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更可能是做为脚原本使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操做。若是没有指定处理动做，则把匹配的行显示到标准输出(屏幕)，若是没有指定模式，则全部被操做所指定的行都被处理。awk分别表明其做者姓氏的第一个字母。由于它的做者是三我的，分别是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本，它提供了Bell实验室和GNU的一些扩展。下面介绍的awk是以GUN的gawk为例的，在linux系统中已把awk连接到gawk，因此下面所有以awk进行介绍。2. awk命令格式和选项2.1. awk的语法有两种形式    awk [options] 'script' var=value file(s)    awk [options] -f scriptfile var=value file(s)2.2. 命令选项-F fs or --field-separator fs    指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。-v var=value or --asign var=value    赋值一个用户定义变量。-f scripfile or --file scriptfile    从脚本文件中读取awk命令。-mf nnn and -mr nnn    对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。-W compact or --compat, -W traditional or --traditional    在兼容模式下运行awk。因此gawk的行为和标准的awk彻底同样，全部的awk扩展都被忽略。-W copyleft or --copyleft, -W copyright or --copyright    打印简短的版权信息。-W help or --help, -W usage or --usage    打印所有awk选项和每一个选项的简短说明。-W lint or --lint    打印不能向传统unix平台移植的结构的警告。-W lint-old or --lint-old    打印关于不能向传统unix平台移植的结构的警告。-W posix    打开兼容模式。但有如下限制，不识别：\x、函数关键字、func、换码序列以及当fs是一个空格时，将新行做为一个域分隔符；操做符**和**=不能代替^和^=；fflush无效。-W re-interval or --re-inerval    容许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。-W source program-text or --source program-text    使用program-text做为源代码，可与-f命令混用。-W version or --version    打印bug报告信息的版本。3. 模式和操做awk脚本是由模式和操做组成的：    pattern {action} 如$ awk '/root/' test，或$ awk '$3 < 100' test。二者是可选的，若是没有模式，则action应用到所有记录，若是没有action，则输出匹配所有记录。默认状况下，每个输入行都是一条记录，但用户可经过RS变量指定不一样的分隔符进行分隔。3.1. 模式模式能够是如下任意一个：    /正则表达式/：使用通配符的扩展集。    关系表达式：能够用下面运算符表中的关系运算符进行操做，能够是字符串或数字的比较，如$2>%1选择第二个字段比第一个字段长的行。    模式匹配表达式：用运算符~(匹配)和~!(不匹配)。    模式，模式：指定一个行的范围。该语法不能包括BEGIN和END模式。    BEGIN：让用户指定在第一条输入记录被处理以前所发生的动做，一般可在这里设置全局变量。    END：让用户在最后一条输入记录被读取以后发生的动做。3.2. 操做操做由一人或多个命令、函数、表达式组成，之间由换行符或分号隔开，并位于大括号内。主要有四部份：    变量或数组赋值    输出命令    内置函数    控制流命令4. awk的环境变量Table 1. awk的环境变量变量    描述$n    当前记录的第n个字段，字段间由FS分隔。$0    完整的输入记录。ARGC    命令行参数的数目。ARGIND    命令行中当前文件的位置(从0开始算)。ARGV    包含命令行参数的数组。CONVFMT    数字转换格式(默认值为%.6g)ENVIRON    环境变量关联数组。ERRNO    最后一个系统错误的描述。FIELDWIDTHS    字段宽度列表(用空格键分隔)。FILENAME    当前文件名。FNR    同NR，但相对于当前文件。FS    字段分隔符(默认是任何空格)。IGNORECASE    若是为真，则进行忽略大小写的匹配。NF    当前记录中的字段数。NR    当前记录数。OFMT    数字的输出格式(默认值是%.6g)。OFS    输出字段分隔符(默认值是一个空格)。ORS    输出记录分隔符(默认值是一个换行符)。RLENGTH    由match函数所匹配的字符串的长度。RS    记录分隔符(默认是一个换行符)。RSTART    由match函数所匹配的字符串的第一个位置。SUBSEP    数组下标分隔符(默认值是\034)。5. awk运算符Table 2. 运算符运算符    描述= += -= *= /= %= ^= **=    赋值?:    C条件表达式||    逻辑或&&    逻辑与~ ~!    匹配正则表达式和不匹配正则表达式< <= > >= != ==    关系运算符空格    链接+ -    加，减* / &    乘，除与求余+ - !    一元加，减和逻辑非^ ***    求幂++ --    增长或减小，做为前缀或后缀$    字段引用in    数组成员6. 记录和域6.1. 记录awk把每个以换行符结束的行称为一个记录。记录分隔符：默认的输入和输出的分隔符都是回车，保存在内建变量ORS和RS中。$0变量：它指的是整条记录。如$ awk '{print $0}' test将输出test文件中的全部记录。变量NR：一个计数器，每处理完一条记录，NR的值就增长1。如$ awk '{print NR,$0}' test将输出test文件中全部记录，并在记录前显示记录号。6.2. 域记录中每一个单词称作“域”，默认状况下以空格或tab分隔。awk可跟踪域的个数，并在内建变量NF中保存该值。如$ awk '{print $1,$3}' test将打印test文件中第一和第三个以空格分开的列(域)。6.3. 域分隔符内建变量FS保存输入域分隔符的值，默认是空格或tab。咱们能够经过-F命令行选项修改FS的值。如$ awk -F: '{print $1,$5}' test将打印以冒号为分隔符的第一，第五列的内容。能够同时使用多个域分隔符，这时应该把分隔符写成放到方括号中，如$awk -F'[:\t]' '{print $1,$3}' test，表示以空格、冒号和tab做为分隔符。输出域的分隔符默认是一个空格，保存在OFS中。如$ awk -F: '{print $1,$5}' test，$1和$5间的逗号就是OFS的值。7. gawk专用正则表达式元字符通常通用的元字符集就不讲了，可参考个人Sed和Grep学习笔记。如下几个是gawk专用的，不适合unix版本的awk。\Y    匹配一个单词开头或者末尾的空字符串。\B    匹配单词内的空字符串。\<    匹配一个单词的开头的空字符串，锚定开始。\>    匹配一个单词的末尾的空字符串，锚定末尾。\w    匹配一个字母数字组成的单词。\W    匹配一个非字母数字组成的单词。\‘    匹配字符串开头的一个空字符串。\'    匹配字符串末尾的一个空字符串。8. POSIX字符集可参考个人Grep学习笔记9. 匹配操做符(~)用来在记录或者域内匹配正则表达式。如$ awk '$1 ~/^root/' test将显示test文件第一列中以root开头的行。10. 比较表达式conditional expression1 ? expression2: expression3，例如：$ awk '{max = {$1 > $3} ? $1: $3: print max}' test。若是第一个域大于第三个域，$1就赋值给max，不然$3就赋值给max。$ awk '$1 + $2 < 100' test。若是第一和第二个域相加大于100，则打印这些行。$ awk '$1 > 5 && $2 < 10' test,若是第一个域大于5，而且第二个域小于10，则打印这些行。11. 范围模板范围模板匹配从第一个模板的第一次出现到第二个模板的第一次出现之间全部行。若是有一个模板没出现，则匹配到开头或末尾。如$ awk '/root/,/mysql/' test将显示root第一次出现到mysql第一次出现之间的全部行。12. 一个验证passwd文件有效性的例子1$ cat /etc/passwd | awk -F: '\2NF != 7{\3printf("line %d,does not have 7 fields:%s\n",NR,$0)}\4$1 !~ /[A-Za-z0-9]/{printf("line %d,non alpha and numeric user id:%d: %s\n,NR,$0)}\5$2 == "*" {printf("line %d, no password: %s\n",NR,$0)}'1    cat把结果输出给awk，awk把域之间的分隔符设为冒号。2    若是域的数量(NF)不等于7，就执行下面的程序。3    printf打印字符串"line ?? does not have 7 fields"，并显示该条记录。4    若是第一个域没有包含任何字母和数字，printf打印“no alpha and numeric user id" ，并显示记录数和记录。5    若是第二个域是一个星号，就打印字符串“no passwd”，紧跟着显示记录数和记录自己。13. 几个实例    $ awk '{print $3}' test-----截取第三域(列)的内容。    $ awk '/^(no|so)/' test-----打印全部以模式no或so开头的行。    $ awk '/^[ns]/{print $1}' test-----若是记录以n或s开头，就打印这个记录。    $ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----若是第一个域以两个数字结束就打印这个记录。    $ awk '$1 == 100 || $2 < 50' test-----若是第一个或等于100或者第二个域小于50，则打印该行。    $ awk '$1 != 10' test-----若是第一个域不等于10就打印该行。    $ awk '/test/{print $1 + 10}' test-----若是记录包含正则表达式test，则第一个域加10并打印出来。    $ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----若是第一个域大于5则打印问号后面的表达式值，不然打印冒号后面的表达式值。    $ awk '/^root/,/^mysql/' test----打印以正则表达式root开头的记录到以正则表达式mysql开头的记录范围内的全部记录。若是找到一个新的正则表达式root开头的记录，则继续打印直到下一个以正则表达式mysql开头的记录为止，或到文件末尾。14. awk编程14.1. 变量    在awk中，变量不须要定义就能够直接使用，变量类型能够是数字或字符串。    赋值格式：Variable = expression，如$ awk '$1 ~/test/{count = $2 + $3; print count}' test,上式的做用是,awk先扫描第一个域，一旦test匹配，就把第二个域的值加上第三个域的值，并把结果赋值给变量count，最后打印出来。    awk能够在命令行中给变量赋值，而后将这个变量传输给awk脚本。如$ awk -F: -f awkscript month=4 year=2004 test，上式的month和year都是自定义变量，分别被赋值为4和2004。在awk脚本中，这些变量使用起来就象是在脚本中创建的同样。注意，若是参数前面出现test，那么在BEGIN语句中的变量就不能被使用。    域变量也可被赋值和修改，如$ awk '{$2 = 100 + $1; print }' test,上式表示，若是第二个域不存在，awk将计算表达式100加$1的值，并将其赋值给$2，若是第二个域存在，则用表达式的值覆盖$2原来的值。再例如：$ awk '$1 == "root"{$1 ="test";print}' test，若是第一个域的值是“root”，则把它赋值为“test”，注意，字符串必定要用双引号。    内建变量的使用。变量列表在前面已列出，如今举个例子说明一下。$ awk -F: '{IGNORECASE=1; $1 == "MARY"{print NR,$1,$2,$NF}'test，把IGNORECASE设为1表明忽略大小写，打印第一个域是mary的记录数、第一个域、第二个域和最后一个域。14.2. BEGIN模块BEGIN模块后紧跟着动做块，这个动做块在awk处理任何输入文件以前执行。因此它能够在没有任何输入的状况下进行测试。它一般用来改变内建变量的值，如OFS,RS和FS等，以及打印标题。如：$ awk 'BEGIN{FS=":"; OFS="\t"; ORS="\n\n"}{print $1,$2,$3} test。上式表示，在处理输入文件之前，域分隔符(FS)被设为冒号，输出文件分隔符(OFS)被设置为制表符，输出记录分隔符(ORS)被设置为两个换行符。$ awk 'BEGIN{print "TITLE TEST"}只打印标题。14.3. END模块END不匹配任何的输入文件，可是执行动做块中的全部动做，它在整个输入文件处理完成后被执行。如$ awk 'END{print "The number of records is" NR}' test，上式将打印全部被处理的记录数。14.4. 重定向和管道    awk可以使用shell的重定向符进行重定向输出，如：$ awk '$1 = 100 {print $1 > "output_file" }' test。上式表示若是第一个域的值等于100，则把它输出到output_file中。也能够用>>来重定向输出，但不清空文件，只作追加操做。    输出重定向需用到getline函数。getline从标准输入、管道或者当前正在处理的文件以外的其余输入文件得到输入。它负责从输入得到下一行的内容，并给NF,NR和FNR等内建变量赋值。若是获得一条记录，getline函数返回1，若是到达文件的末尾就返回0，若是出现错误，例如打开文件失败，就返回-1。如：    $ awk 'BEGIN{ "date" | getline d; print d}' test。执行linux的date命令，并经过管道输出给getline，而后再把输出赋值给自定义变量d，并打印它。    $ awk 'BEGIN{"date" | getline d; split(d,mon); print mon[2]}' test。执行shell的date命令，并经过管道输出给getline，而后getline从管道中读取并将输入赋值给d，split函数把变量d转化成数组mon，而后打印数组mon的第二个元素。    $ awk 'BEGIN{while( "ls" | getline) print}'，命令ls的输出传递给geline做为输入，循环使getline从ls的输出中读取一行，并把它打印到屏幕。这里没有输入文件，由于BEGIN块在打开输入文件前执行，因此能够忽略输入文件。    $ awk 'BEGIN{printf "What is your name?"; getline name < "/dev/tty" } $1 ~name {print "Found" name on line ", NR "."} END{print "See you," name "."} test。在屏幕上打印”What is your name?",并等待用户应答。当一行输入完毕后，getline函数从终端接收该行输入，并把它储存在自定义变量name中。若是第一个域匹配变量name的值，print函数就被执行，END块打印See you和name的值。    $ awk 'BEGIN{while (getline < "/etc/passwd" > 0) lc++; print lc}'。awk将逐行读取文件/etc/passwd的内容，在到达文件末尾前，计数器lc一直增长，当到末尾时，打印lc的值。注意，若是文件不存在，getline返回-1，若是到达文件的末尾就返回0，若是读到一行，就返回1，因此命令 while (getline < "/etc/passwd")在文件不存在的状况下将陷入无限循环，由于返回-1表示逻辑真。    能够在awk中打开一个管道，且同一时刻只能有一个管道存在。经过close()可关闭管道。如：$ awk '{print $1, $2 | "sort" }' test END {close("sort")}。awd把print语句的输出经过管道做为linux命令sort的输入,END块执行关闭管道操做。    system函数能够在awk中执行linux的命令。如：$ awk 'BEGIN{system("clear")'。    fflush函数用以刷新输出缓冲区，若是没有参数，就刷新标准输出的缓冲区，若是以空字符串为参数，如fflush(""),则刷新全部文件和管道的输出缓冲区。14.5. 条件语句awk中的条件语句是从C语言中借鉴过来的，可控制程序的流程。14.5.1. if语句格式：        {if (expression){                   statement; statement; ...                     }        }$ awk '{if ($1 <$2) print $2 "too high"}' test。若是第一个域小于第二个域则打印。$ awk '{if ($1 < $2) {count++; print "ok"}}' test.若是第一个域小于第二个域，则count加一，并打印ok。14.5.2. if/else语句，用于双重判断。格式：        {if (expression){                   statement; statement; ...                       }        else{                   statement; statement; ...                       }        }$ awk '{if ($1 > 100) print $1 "bad" ; else print "ok"}' test。若是$1大于100则打印$1 bad,不然打印ok。$ awk '{if ($1 > 100){ count++; print $1} else {count--; print $2}' test。若是$1大于100，则count加一，并打印$1，不然count减一，并打印$1。14.5.3. if/else else if语句，用于多重判断。格式：        {if (expression){                    statement; statement; ...                   }        else if (expression){                    statement; statement; ...                   }        else if (expression){                    statement; statement; ...                   }        else {                   statement; statement; ...             }        }14.6. 循环    awk有三种循环:while循环；for循环；special for循环。    $ awk '{ i = 1; while ( i <= NF ) { print NF,$i; i++}}' test。变量的初始值为1，若i小于可等于NF(记录中域的个数),则执行打印语句，且i增长1。直到i的值大于NF.    $ awk '{for (i = 1; i<NF; i++) print NF,$i}' test。做用同上。    breadkcontinue语句。break用于在知足条件的状况下跳出循环；continue用于在知足条件的状况下忽略后面的语句，直接返回循环的顶端。如：    {for ( x=3; x<=NF; x++)                if ($x<0){print "Bottomed out!"; break}}    {for ( x=3; x<=NF; x++)                if ($x==0){print "Get next item"; continue}}             next语句从输入文件中读取一行，而后从头开始执行awk脚本。如：    {if ($1 ~/test/){next}        else {print}    }            exit语句用于结束awk程序，但不会略过END块。退出状态为0表明成功，非零值表示出错。14.7. 数组awk中的数组的下标能够是数字和字母，称为关联数组。14.7.1. 下标与关联数组    用变量做为数组下标。如：$ awk {name[x++]=$2};END{for(i=0;i<NR;i++) print i,name[i]}' test。数组name中的下标是一个自定义变量x，awk初始化x的值为0，在每次使用后增长1。第二个域的值被赋给name数组的各个元素。在END模块中，for循环被用于循环整个数组，从下标为0的元素开始，打印那些存储在数组中的值。由于下标是关健字，因此它不必定从0开始，能够从任何值开始。    special for循环用于读取关联数组中的元素。格式以下：    {for (item in arrayname){             print arrayname[item]             }    }    $ awk '/^tom/{name[NR]=$1}; END{for(i in name){print name[i]}}' test。打印有值的数组元素。打印的顺序是随机的。    用字符串做为下标。如：count["test"]    用域值做为数组的下标。一种新的for循环方式，for (index_value in array) statement。如:$ awk '{count[$1]++} END{for(name in count) print name,count[name]}' test。该语句将打印$1中字符串出现的次数。它首先以第一个域做数组count的下标，第一个域变化，索引就变化。    delete函数用于删除数组元素。如：$ awk '{line[x++]=$1} END{for(x in line) delete(line[x])}' test。分配给数组line的是第一个域的值，全部记录处理完成后，special for循环将删除每个元素。14.8. awk的内建函数14.8.1. 字符串函数    sub函数匹配记录中最大、最靠左边的子字符串的正则表达式，并用替换字符串替换这些字符串。若是没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的时候。格式以下：                sub (regular expression, substitution string):                sub (regular expression, substitution string, target string)    实例：                $ awk '{ sub(/test/, "mytest"); print }' testfile                $ awk '{ sub(/test/, "mytest"); $1}; print }' testfile    第一个例子在整个记录中匹配，替换只发生在第一次匹配发生的时候。如要在整个文件中进行匹配须要用到gsub    第二个例子在整个记录的第一个域中进行匹配，替换只发生在第一次匹配发生的时候。    gsub函数做用如sub，但它在整个文档中进行匹配。格式以下：                gsub (regular expression, substitution string)                gsub (regular expression, substitution string, target string)    实例：                $ awk '{ gsub(/test/, "mytest"); print }' testfile                $ awk '{ gsub(/test/, "mytest"), $1 }; print }' testfile    第一个例子在整个文档中匹配test，匹配的都被替换成mytest。    第二个例子在整个文档的第一个域中匹配，全部匹配的都被替换成mytest。    index函数返回子字符串第一次被匹配的位置，偏移量从位置1开始。格式以下：              index(string, substring)    实例：                $ awk '{ print index("test", "mytest") }' testfile    实例返回test在mytest的位置，结果应该是3。    length函数返回记录的字符数。格式以下：                length( string )                length    实例：                $ awk '{ print length( "test" ) }'                $ awk '{ print length }' testfile    第一个实例返回test字符串的长度。    第二个实例返回testfile文件中第条记录的字符数。    substr函数返回从位置1开始的子字符串，若是指定长度超过实际长度，就返回整个字符串。格式以下：                substr( string, starting position )                substr( string, starting position, length of string )    实例：                $ awk '{ print substr( "hello world", 7,11 ) }'    上例截取了world子字符串。    match函数返回在字符串中正则表达式位置的索引，若是找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位置，RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串。函数格式以下：                match( string, regular expression )    实例：                $ awk '{start=match("this is a test",/[a-z]+$/); print start}'                $ awk '{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }'    第一个实例打印以连续小写字符结尾的开始位置，这里是11。    第二个实例还打印RSTART和RLENGTH变量，这里是11(start)，11(RSTART)，4(RLENGTH)。    toupper和tolower函数可用于字符串大小间的转换，该功能只在gawk中有效。格式以下：                toupper( string )                tolower( string )    实例：                $ awk '{ print toupper("test"), tolower("TEST") }'    split函数可按给定的分隔符把字符串分割为一个数组。若是分隔符没提供，则按当前FS值进行分割。格式以下：                split( string, array, field separator )                split( string, array )    实例：                $ awk '{ split( "20:18:00", time, ":" ); print time[2] }'    上例把时间按冒号分割到time数组内，并显示第二个数组元素18。14.8.2. 时间函数    systime函数返回从1970年1月1日开始到当前时间(不计闰年)的整秒数。格式以下：                systime()    实例：                $ awk '{ now = systime(); print now }'    strftime函数使用C库中的strftime函数格式化时间。格式以下：                systime( [format specification][,timestamp] )    Table 3. 日期和时间格式说明符    格式    描述    %a    星期几的缩写(Sun)    %A    星期几的完整写法(Sunday)    %b    月名的缩写(Oct)    %B    月名的完整写法(October)    %c    本地日期和时间    %d    十进制日期    %D    日期 08/20/99    %e    日期，若是只有一位会补上一个空格    %H    用十进制表示24小时格式的小时    %I    用十进制表示12小时格式的小时    %j    从1月1日起一年中的第几天    %m    十进制表示的月份    %M    十进制表示的分钟    %p    12小时表示法(AM/PM)    %S    十进制表示的秒    %U    十进制表示的一年中的第几个星期(星期天做为一个星期的开始)    %w    十进制表示的星期几(星期天是0)    %W    十进制表示的一年中的第几个星期(星期一做为一个星期的开始)    %x    从新设置本地日期(08/20/99)    %X    从新设置本地时间(12：00：00)    %y    两位数字表示的年(99)    %Y    当前月份    %Z    时区(PDT)    %%    百分号(%)    实例：                $ awk '{ now=strftime( "%D", systime() ); print now }'                $ awk '{ now=strftime("%m/%d/%y"); print now }'14.8.3. 内建数学函数Table 4.函数名称    返回值atan2(x,y)    y,x范围内的余切cos(x)    余弦函数exp(x)    求幂int(x)    取整log(x)    天然对数rand()    随机数sin(x)    正弦sqrt(x)    平方根srand(x)    x是rand()函数的种子int(x)    取整，过程没有舍入rand()    产生一个大于等于0而小于1的随机数14.8.4. 自定义函数在awk中还可自定义函数，格式以下：        function name ( parameter, parameter, parameter, ... ) {                        statements                        return expression                 # the return statement and expression are optional        }15. How-to    如何把一行竖排的数据转换成横排？    awk '{printf("%s,",$1)}' filenameuniqhttp://baike.baidu.com/view/1374849.htmuniq　　uniq 命令　　文字　　uniq是LINUX命令　　用途　　报告或删除文件中重复的行。　　语法　　uniq [ -c | -d | -u ] [ -f Fields ] [ -s Characters ] [ -Fields ] [ +Characters ] [ InFile [ OutFile ] ]　　描述　　uniq 命令删除文件中的重复行。 uniq 命令读取由 InFile 参数指定的标准输入或文件。该命令首先比较相邻的行，而后除去第二行和该行的后续副本。重复的行必定相邻。（在发出 uniq 命令以前，请使用 sort 命令使全部重复行相邻。）最后，uniq 命令将最终单独的行写入标准输出或由 OutFile 参数指定的文件。InFile 和 OutFile 参数必须指定不一样的文件。　　输入文件必须是文本文件。文本文件是包含组织在一行或多行中的字符的文件。这些行的长度不能超出 2048 个字节（包含全部换行字符），而且其中不能包含空字符。　　缺省状况下，uniq 命令比较全部行。若是指定了-f Fields 或 -Fields 标志, uniq 命令忽略由 Fields 变量指定的字段数目。 field 是一个字符串，用一个或多个 <空格 > 字符将它与其它字符串分隔开。若是指定了 -s Characters 或 -Characters 标志, uniq 命令忽略由 Characters 变量指定的字段数目。为 Fields 和 Characters 变量指定的值必须是正的十进制整数。　　当前本地语言环境决定了 -f 标志使用的 <空白> 字符以及 -s 标志如何将字节解释成字符。　　若是执行成功，uniq 命令退出，返回值 0。不然，命令退出返回值大于 0。　　标志　　-c 在输出行前面加上每行在输入文件中出现的次数。　　-d 仅显示重复行。　　-f Fields 忽略由 Fields 变量指定的字段数目。 若是 Fields 变量的值超过输入行中的字段数目, uniq 命令用空字符串进行比较。 这个标志和 -Fields 标志是等价的。　　-u 仅显示不重复的行。　　-s Characters 忽略由 Characters 变量指定的字符的数目。 若是 Characters 变量的值超过输入行中的字符的数目, uniq 用空字符串进行比较。 若是同时指定 -f 和 -s 标志, uniq 命令忽略由 -s Characters 标志指定的字符的数目，而从由 -f Fields 标志指定的字段后开始。 这个标志和 +Characters 标志是等价的。　　-Fields 忽略由 Fields 变量指定的字段数目。 这个标志和 -f Fields 标志是等价的。　　+Characters 忽略由 Characters 变量指定的字符的数目。 若是同时指定 - Fields 和 +Characters 标志, uniq 命令忽略由 +Characters 标志指定的字符数目，并从由 -Fields 标志指定的字段后开始。 这个标志和 -s Characters 标志是等价的。　　退出状态　　该命令返回如下退出值：　　0 命令运行成功。　　>0 发生错误。　　示例　　要删除名为 fruit 文件中的重复行并将其保存到一个名为 newfruit 的文件中，输入：　　uniq fruit newfruit　　若是 fruit 文件包含下列行:　　apples　　apples　　peaches　　pears　　bananas　　cherries　　cherries　　则在您运行uniq 命令后 newfruit 文件将包含下列行:　　apples　　peaches　　pears　　bananas　　cherries　　文件　　/usr/bin/uniq 包含 uniq 命令。