linux初级(提取文件中某些列)转载加修改

这里用到的是awk -F ;

awk -F "," '{print $12" "$3" "$7" "$9" "$11 }' linshi201911 > 201911-84002.xls

导出后,在excel中点击打开,选择分隔符就可保存为xls格式

1 本文适合读者

了解awk基本语法,需要用awk对文本进行处理的初级用户
本文主要介绍利用awk的二维数组,把单列数据转为多列和反过来多列数据到单列的方法

2 问题描述

源文件的格式a.txt:

月份     产品     销量
201801    苹果      5
201801    梨        8
201801    香蕉      7
201802    西瓜      4
201803    苹果      6

这是一个常见的单列数据的模型,第一列是月份,第二列是类型,第三列是数据,销售人员常常需要汇总全年的销售数据,并按类型转换为多列的形式,以便用图表来显示各类型的销售走势。

目标文件的格式b.txt:

月份      西瓜  苹果  香蕉  梨
201801    0     5   7   8
201802    4     0   0   0
201803    0     6   0   0

3 问题分析

单列转多列很自然的用到awk的二维数组,array[下标1,下标2],用月份作为下标1,用类型作为下标2。然后遍历数组,格式化输出数据即可。

这里的问题是要按月份输出,每一行是某月的所有数据,因此不能直接用for ( item in array ) 来直接一次遍历数组所有元素,需要分别遍历下标1和下标2。

4 单列到多列的转换

awk -F"\t" '{month[$1]=$1;type[$2]=$2;arr[$1,$2]=$3} 
END {for (i in month) { printf("%s",month[i]); 
for (j in type) printf("\t%d",arr[i,j]);printf("\n") }}' a.txt 

命令解释:
把月份存放在一维数组month[]中,把类型存放在一维数组type[]中,把数据存在二维数组arr[i,j]中。
第一层for循环对每个月份进行遍历,第二层for循环对每种类型进行遍历,即可得到所要的输出格式。

5 说明

这里没有用二维数组的split()方法来切割下标,然后计算下标数组长度。而是增加了两个一维数组来辅助遍历,这样比较直观。

6 多列到单列的转换

awk -F"\t" 'NR == 1 {for (i=2; i <= NF;i++) type[i]=$i};
 NR > 1 { for (j=2;j <= NF; j++) arr[$1,type[j]]=$j } 
 END { for (k in arr) { split(k,idx,SUBSEP);
 print idx[1]"\t"idx[2]"\t"arr[k]} }' 2.txt 
| sort -t',' -k1,1 -k2,2

7 输出结果

201801    梨   8
201801    西瓜  0
201801    苹果  5
201801    香蕉  7
201802    梨   0
201802    苹果  0
201802    香蕉  0
201802    西瓜  4
201803    梨   0
201803    西瓜  0
201803    香蕉  0
201803    苹果  6

8 说明

先把标题字段存在type[ ]一维数组中,然后把每一行的值存在arr[ ]二维数组中,最后遍历整个二维数组输出。



作者:渐悟懂劲
链接:https://www.jianshu.com/p/9372c7ac1019
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

猜你喜欢

转载自www.cnblogs.com/zqs6866/p/12643503.html