linux批量计算时间差脚本——awk

今天碰到一个时间差批量计算的问题，弄好后就写下来，方便积累和分享。

部分数据（一共有40多W条，gmail.csv ）如上图所示，已经作过二次处理和排版。

第i行前两列时间记做A[i],后两列记做B[i],须要计算平均延迟∑（A[i]-B[i]） /I，以及最大延迟Max（A[i]-B[i]）

平均值：

[root[root@test01 test]# awk -F '[ :-]' '{a=strftime("%s",mktime($1" "$2" "$3" "$4" "$5" "$6));b=strftime("%s",mktime($7" "$8" "$9" "$10" "$11" "$12));c=a-b;sum+=c}END{print sum/NR}' gmail.csv

最大值：

[root@test01 test]# awk -F '[ :-]' '{a=strftime("%s",mktime($1" "$2" "$3" "$4" "$5" "$6));b=strftime("%s",mktime($7" "$8" "$9" "$10" "$11" "$12));c=a-b;if(c>max)max=c}END{print max}' gmail.csv

知识点：awk自带的时间函数

函数名	说明
mktime( YYYY MM DD HH MM SS[ DST])	生成时间格式
strftime([format [, timestamp]])	格式化时间输出，将时间戳转为时间字符串 具体格式，见下表.
systime()	获得时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数

建立指定时间(mktime使用）

[chengmo@centos5 ~]$ awk 'BEGIN{tstamp=mktime("2001 01 01 12 12 12");print strftime("%c",tstamp);}'
2001年01月01日 星期一 12时12分12秒

[chengmo@centos5 ~]$ awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=mktime("2001 02 01 0 0 0");print tstamp2-tstamp1;}'
2634468

求2个时间段中间时间差,介绍了strftime使用方法

[chengmo@centos5 ~]$ awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=systime();print tstamp2-tstamp1;}'
308201392

strftime日期和时间格式说明符

格式	描述
%a	星期几的缩写(Sun)
%A	星期几的完整写法(Sunday)
%b	月名的缩写(Oct)
%B	月名的完整写法(October)
%c	本地日期和时间
%d	十进制日期
%D	日期 08/20/99
%e	日期，若是只有一位会补上一个空格
%H	用十进制表示24小时格式的小时
%I	用十进制表示12小时格式的小时
%j	从1月1日起一年中的第几天
%m	十进制表示的月份
%M	十进制表示的分钟
%p	12小时表示法(AM/PM)
%S	十进制表示的秒
%U	十进制表示的一年中的第几个星期(星期天做为一个星期的开始)
%w	十进制表示的星期几(星期天是0)
%W	十进制表示的一年中的第几个星期(星期一做为一个星期的开始)
%x	从新设置本地日期(08/20/99)
%X	从新设置本地时间(12：00：00)
%y	两位数字表示的年(99)
%Y	当前月份
%Z	时区(PDT)
%%	百分号(%)

今天又遇到个日志问题，写下来方便之后回头看和积累：

原始数据相似：G,2013-09-28 00:00:16+0800,2013-09-27 20:05:27+0800,XASHKNWABASDBKW

我只须要标红的各个字段，代码以下：

awk -F '[,+]' '{gsub(/-|:/," ",$2);gsub(/-|:/," ",$4);print $2,$4}'

意思是：以,或+分割数据字段，同时将第2个字段中的-或：都替换为空格；第四个字段也作了相同的操做，并输出。

输出格式为：2013 09 28 00 00 16 2013 09 27 20 05 27