awk命令应用总结

内置参数：

$0：表示整个当前行

$1：每行的第一个字段

$2：每行的第二个字段

$3...：以此类推

NR：每行的记录号（即行号）

NF：字段数量变量（即列号）

-F：分隔符选项，默认为空格

awk输出文件 time.txt 的第一行的内容

cat time.txt | awk 'NR==1'

awk输出文件最后一行的内容

cat time.txt | awk 'END {print}'

awk输出文件的最后一列

cat time.txt | awk '{print $NF}'

awk获取文件的总行数

awk 'END{print NR}' time.txt

格式化输出数字---与printf合并使用

echo $date | awk '{printf ("%02d",$2)}'

此处变量$date为日期，“2020 1 2”，运行结果为01。 %02d表示两位的整数

awk中if..else的应用

awk -F ':' '{if ($3>100) print "line: "NR,"user: "$1}' passwd

输出两个文件中的相同行，并去除空行（使用具体的数据作为下标即可）

awk 'NR==FNR{a[$1$2$3$NF]=$0}NR>FNR{print a[$1$2$3$NF]}' ./tempour.txt ./tempstd.txt | sed '/^$/d' > tempour_both.txt

处理文本上下两行，时间间隔是否为5s

awk '{n=a0;if(NR==1){getline a0;b1=$0;b2=a0;time1=mktime(b1);time2=mktime(b2);value=time2-time1;if(value!=5){print b1,b2,value;}}\
else{c1=a0;c2=$0;a0=c2;time1=mktime(c1);time2=mktime(c2);value=time2-time1;if(value!=5){print c1,c2,value;}}}' ./log_time.txt >> $dir/break.txt

利用具体时间，单独计算时间差

echo "2019 6 27 07 59 35" "2019 6 27 23 59 55" | awk '{a1=$1" "$2" "$3" "$4" "$5" "$6;b1=$7" "$8" "$9" "$10" "$11" "$12;time1=mktime(a1);time2=mktime(b1);val=time2-time1;print val}'

计算两个文本相同行的时间间隔

 1 while [ "$i" -le "$n2" ]
 2 do
 3     a=`sed -n $i'p' num1.txt`
 4     timea=`sed -n $a'p' ./cas_global_$day".log" | awk -F "e:" '{print $2}' | sed 's/-/ /g' | sed 's/:/ /g'`
 5     b=`sed -n $i'p' num2.txt`
 6     timeb=`sed -n $b'p' ./cas_global_$day".log" | awk -F "e:" '{print $2}' | sed 's/-/ /g' | sed 's/:/ /g'`
 7     #  timea,timeb格式为"2019 6 15 01 15 50"
 8 echo "$timea" "$timeb" | awk '{a1=$1" "$2" "$3" "$4" "$5" "$6;\
 9         b1=$7" "$8" "$9" "$10" "$11" "$12;\
10         time1=mktime(a1);time2=mktime(b1);\
11         value=time2-time1;\
12         print a1,b1,time1,time2,value}' >> ./$day"_cal_time.txt"
13     let i++
14 done

处理两个文件的多列数据

awk 'NR==FNR{time[NR]=$1" "$2;sat[NR]=$3;dr[NR]=$4;da[NR]=$5;dc[NR]=$6;next}\
    NR!=FNR{{sdr[FNR]=$4;sda[FNR]=$5;sdc[FNR]=$6}\
    d_DR[FNR]=sdr[FNR]-dr[FNR];d_DA[FNR]=sda[FNR]-da[FNR];d_DC[FNR]=sdc[FNR]-dc[FNR];\
    printf("%s   %s\t%f\t%f\t%f\n",time[FNR],sat[FNR],d_DR[FNR],d_DA[FNR],d_DC[FNR]}' ./a_both.txt ./b_both.txt > ./temp_res.txt

计算文件中第一列$1的最大值、最小值、平均值、标准偏差

awk '{v[NR]=$1;sum+=$1}\
    {if($1>max)max=$1;\
    if(min>$1)min=$1}NR==1{max=min=$1}\
    END{avg=sum/NR;\
    for(n=1;n<=NR;n++)\
    sd+=(v[n]-avg)**2;\
    sd=sqrt(sd/NR);\
printf("Max=%f\nMin=%f\nSum=%f\nAvg=%f\nSD=%f\nItem=%d\n",max,min,sum,avg,sd,NR)}' result.txt >> x_result.txt

%0.3f 表示保留三位小数

awk中sunstr(s,p)的截取字符串的函数

substr(s,p) 返回字符串s中从p开始的后缀部分

substr(s,p,n) 返回字符串s中从p开始，长度为n的后缀部分

awk '{a=$2;h=substr(a,1,2);m=substr(a,4,2);s=substr(a,7,2);if(m%15==0 && s=="01" && $10!=999)print $1}' text >> result

猜你喜欢