Linux tr,split,awk,sed命令&实例

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/Guoxiang1030_/article/details/102578486

Linux tr

Linux tr 命令用于转换或删除文件中的字符。
tr 指令从标准输入设备读取数据，经过字符串转译后，将结果输出到标准输出设备。

语法

tr [-cdst][--help][--version][第一字符集][第二字符集]  
tr [OPTION]…SET1[SET2] 

参数说明：

• -c, --complement：反选设定字符。也就是符合 SET1 的部份不做处理，不符合的剩余部份才进行转换
• -d, --delete：删除指令字符
• -s, --squeeze-repeats：缩减连续重复的字符成指定的单个字符
• -t, --truncate-set1：削减 SET1 指定范围，使之与 SET2 设定长度相等
• –help：显示程序用法信息
• –version：显示程序本身的版本信息

字符集合的范围：

• \NNN 八进制值的字符 NNN (1 to 3 为八进制值的字符)
• \ 反斜杠
• \a Ctrl-G 铃声
• \b Ctrl-H 退格符
• \f Ctrl-L 走行换页
• \n Ctrl-J 新行
• \r Ctrl-M 回车
• \t Ctrl-I tab键
• \v Ctrl-X 水平制表符
• CHAR1-CHAR2 ：字符范围从 CHAR1 到 CHAR2 的指定，范围的指定以 ASCII
  码的次序为基础，只能由小到大，不能由大到小。
• [CHAR*] ：这是 SET2 专用的设定，功能是重复指定的字符到与 SET1 相同长度为止
• [CHAR*REPEAT] ：这也是 SET2 专用的设定，功能是重复指定的字符到设定的 REPEAT 次数为止(REPEAT 的数字采8 进位制计算，以 0 为开始)
• [:alnum:] ：所有字母字符与数字
• [:alpha:] ：所有字母字符
• [:blank:] ：所有水平空格
• [:cntrl:] ：所有控制字符
• [:digit:] ：所有数字
• [:graph:] ：所有可打印的字符(不包含空格符)
• [:lower:] ：所有小写字母
• [:print:] ：所有可打印的字符(包含空格符)
• [:punct:] ：所有标点字符
• [:space:] ：所有水平与垂直空格符
• [:upper:] ：所有大写字母
• [:xdigit:] ：所有 16 进位制的数字
• [=CHAR=] ：所有符合指定的字符(等号里的 CHAR，代表你可自订的字符)

实例

将文件testfile中的小写字母全部转换成大写字母，此时，可使用如下命令：

cat testfile |tr a-z A-Z 

testfile文件中的内容如下：

$ cat testfile         #testfile原来的内容  
Linux networks are becoming more and more common, 
but scurity is often an overlooked  
issue. Unfortunately, in today’s environment all networks 
are potential hacker targets,  
fro0m tp-secret military research networks to small home LANs.  
Linux Network Securty focuses on securing Linux in a 
networked environment, where the  
security of the entire network needs to be considered
rather than just isolated machines.  
It uses a mix of theory and practicl techniques to 
teach administrators how to install and  
use security applications, as well as how the 
applcations work and why they are necesary. 

使用 tr 命令大小写转换后，得到如下输出结果：

$ cat testfile | tr a-z A-Z #转换后的输出  
LINUX NETWORKS ARE BECOMING MORE AND MORE COMMON, BUT SCURITY IS OFTEN AN OVERLOOKED  
ISSUE. UNFORTUNATELY, IN TODAY’S ENVIRONMENT ALL NETWORKS ARE POTENTIAL HACKER TARGETS,  
FROM TP-SECRET MILITARY RESEARCH NETWORKS TO SMALL HOME LANS.  
LINUX NETWORK SECURTY FOCUSES ON SECURING LINUX IN A NETWORKED ENVIRONMENT, WHERE THE  
SECURITY OF THE ENTIRE NETWORK NEEDS TO BE CONSIDERED RATHER THAN JUST ISOLATED MACHINES.  
IT USES A MIX OF THEORY AND PRACTICL TECHNIQUES TO TEACH ADMINISTRATORS HOW TO INSTALL AND  
USE SECURITY APPLICATIONS, AS WELL AS HOW THE APPLCATIONS WORK AND WHY THEY ARE NECESARY. 

大小写转换，也可以通过[:lower][:upper]参数来实现。例如使用如下命令：

cat testfile |tr [:lower:] [:upper:] 

输出结果如下：

$ cat testfile | tr [:lower:] [:upper:] #转换后的输出  
LINUX NETWORKS ARE BECOMING MORE AND MORE COMMON, BUT SCURITY IS OFTEN AN OVERLOOKED  
ISSUE. UNFORTUNATELY, IN TODAY’S ENVIRONMENT ALL NETWORKS ARE POTENTIAL HACKER TARGETS,  
FROM TP-SECRET MILITARY RESEARCH NETWORKS TO SMALL HOME LANS.  
LINUX NETWORK SECURTY FOCUSES ON SECURING LINUX IN A NETWORKED ENVIRONMENT, WHERE THE  
SECURITY OF THE ENTIRE NETWORK NEEDS TO BE CONSIDERED RATHER THAN JUST ISOLATED MACHINES.  
IT USES A MIX OF THEORY AND PRACTICL TECHNIQUES TO TEACH ADMINISTRATORS HOW TO INSTALL AND  
USE SECURITY APPLICATIONS, AS WELL AS HOW THE APPLCATIONS WORK AND WHY THEY ARE NECESARY. 

1.1 实例（2）

• 通过 tr 命令用于 替换 或 删除 文件中的字符。

1.2 路径

• 第一步: 实现 替换 效果
• 第二步: 实现 删除 效果
• 第三步: 完成 单词计数 案例

1.3 实现

第一步: 实现 替换效果

命令	英文	含义
命令结果 | tr 被替换的字符 新字符	translate	实现 替换效果

# 将 小写i 替换成  大写 I
# 把itheima的转换为大写
# 把 HELLO 转成 小写

# 将 小写i 替换成  大写 I
echo "itheima" | tr 'i' 'I'

# 把itheima的转换为大写
echo "itheima" |tr '[a-z]' '[A-Z]'

# 把 HELLO 转成 小写
echo "HELLO" |tr '[A-Z]' '[a-z]'

第二步: 实现删除效果

命令	英文	含义
命令结果 | tr -d 被删除的字符	delete	删除指定的字符

• 需求: 删除abc1d4e5f中的数字

echo 'abc1d4e5f' | tr -d '[0-9]'

第三步: 单词计数

准备工作

[root@hadoop01 export]# cat words.txt 
hello,world,hadoop
hive,sqoop,flume,hello
kitty,tom,jerry,world
hadoop

1 将, 换成 换行

2 排序

3 去重

4 计数

# 统计每个单词出现的次数
[root@hadoop01 export]# cat words.txt | tr ',' '\n' | sort | uniq -c
      1 flume
      2 hadoop
      2 hello
      1 hive
      1 jerry
      1 kitty
      1 sqoop
      1 tom
      2 world

• 准备工作

  # 查看 /etc目录下 以.conf以结尾的文件的内容
  cat -n /etc/*.conf
  
  # 将命令结果 追加到 /export/v.txt 文件中
  cat -n /etc/*.conf >> /export/v.txt
  

Linux split

Linux split命令用于将一个文件分割成数个。
该指令将大文件分割成较小的文件，在默认情况下将按照每1000行切割成一个小文件。

语法

split [--help][--version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]

参数说明：

• -<行数> : 指定每多少行切成一个小文件
• -b<字节> : 指定每多少字节切成一个小文件
• –help : 在线帮助
• –version : 显示版本信息
• -C<字节> : 与参数"-b"相似，但是在切 割时将尽量维持每行的完整性
• [输出文件名] : 设置切割后文件的前置文件名， split会自动在前置文件名后再加上编号

实例

使用指令"split"将文件"README"每6行切割成一个文件，输入如下命令：

$ split -6 README       #将README文件每六行分割成一个文件 

以上命令执行后，指令"split"会将原来的大文件"README"切割成多个以"x"开头的小文件。而在这些小文件中，每个文件都只有6行内容。
使用指令"ls"查看当前目录结构，如下所示：

$ ls                                #执行ls指令  
#获得当前目录结构  
README xaa xad xag xab xae xah xac xaf xai  

2.1 实例（2）

• 通过 split 命令将大文件 切分成 若干小文件

2.2 路径

• 第一步: 按 字节 将 大文件 切分成 若干小文件
• 第二步: 按 行数 将 大文件 切分成 若干小文件

2.3 实现

第一步: 按 字节 将 大文件 切分成 若干小文件

命令	英文	含义
split -b 10k 文件	byte	将大文件切分成若干10KB的小文件

第二步: 按 行数 将 大文件 切分成 若干小文件

命令	英文	含义
split -l 1000 文件	lines	将大文件切分成若干1000行 的小文件

2.4 小结

• 通过 split 选项 文件名 命令将大文件 切分成 若干小文件

• 准备工作1:

  vim score.txt

  zhangsan 68 99 26
  lisi 98 66 96
  wangwu 38 33 86
  zhaoliu 78 44 36
  maq 88 22 66
  zhouba 98 44 46
  

Linux awk

AWK是一种处理文本文件的语言，是一个强大的文本分析工具。
之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

语法

awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)

选项参数说明：

• -F fs or --field-separator fs
  指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。

• -v var=value or --asign var=value
  赋值一个用户定义变量。

• -f scripfile or --file scriptfile
  从脚本文件中读取awk命令。

• -mf nnn and -mr nnn
  对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。

• -W compact or --compat, -W traditional or --traditional
  在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。

• -W copyleft or --copyleft, -W copyright or --copyright
  打印简短的版权信息。

• -W help or --help, -W usage or --usage
  打印全部awk选项和每个选项的简短说明。

• -W lint or --lint
  打印不能向传统unix平台移植的结构的警告。

• -W lint-old or --lint-old
  打印关于不能向传统unix平台移植的结构的警告。

• -W posix
  打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符和=不能代替^和=；fflush无效。

• -W re-interval or --re-inerval
  允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。

• -W source program-text or --source program-text
  使用program-text作为源代码，可与-f命令混用。

• -W version or --version
  打印bug报告信息的版本。

基本用法

log.txt文本内容如下：

2 this is a test
3 Are you like awk
This's a test
10 There are orange,apple,mongo

用法一：

awk '{[pattern] action}' {filenames}   # 行匹配语句 awk '' 只能用单引号

实例：

# 每行按空格或TAB分割，输出文本中的1、4项
 $ awk '{print $1,$4}' log.txt
 ---------------------------------------------
 2 a
 3 like
 This's
 10 orange,apple,mongo
 # 格式化输出
 $ awk '{printf "%-8s %-10s\n",$1,$4}' log.txt
 ---------------------------------------------
 2        a
 3        like
 This's
 10       orange,apple,mongo