管道相关命令
1.1 cut
cut：以某种方式按照文件的行进行分割
参数列表：
-b 按字节选取 忽略多字节字符边界，除非也指定了 -n 标志
-c 按字符选取
-d 自定义分隔符，默认为制表符。
-f 与-d一起使用，指定显示哪个区域。
范围控制：
n:只有第n项
n-:从第n项一直到行尾
n-m:从第n项到第m项(包括m)
准备工作
vim 1.txt
111:aaa:bbb:ccc
222:ddd:eee:fff
333:ggg:hhh
444:iii
cat 1.txt | cut -c 1
练习1 截取出1.txt文件中前2行的第5个字符
答案：
head -2 1.txt | cut -c 5
练习2 截取出1.txt文件中前2行以”:”进行分割的第1,2段内容
答案：
head -2 1.txt | cut -d ':' -f 1,2
或者
head -2 1.txt | cut -d ':' -f 1-2
练习3
截取出1.txt文件中前2行以”:”进行分割的第1,2,3段内容
答案：
head -2 1.txt | cut -d ':' -f 1,2,3
或者
head -2 1.txt | cut -d ':' -f 1-3
1.2 sort 的 工作原理
1.2.1 基本使用
sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。
[root@node01 tmp]# cat 01.txt
banana
apple
pear
orange
pear
[root@node01 tmp]# sort 01.txt
apple
banana
orange
pear
pear
1.2.2 sort的-u选项
它的作用很简单，就是在输出行中去除重复行。
[root@node01 tmp]# sort -u 01.txt
apple
banana
orange
pear
pear由于重复被-u选项无情的删除了。
1.2.3 sort的-r 和 -n选项
[root@node01 tmp]# cat 02.txt
1
3
5
7
11
2
4
6
10
8
9
sort默认的排序方式是升序
[root@node01 tmp]# sort 02.txt
1
10
11
2
3
4
5
6
7
8
9
排序程序将这些数字按字符来排序了，排序程序会先比较1和2，显然1小，所以就将10放在2前面
[root@node01 tmp]# sort -n 02.txt
1
2
3
4
5
6
7
8
9
10
11
-r表示降序，n表示按数字进行排序
[root@node01 tmp]# sort -n -r 02.txt
11
10
9
8
7
6
5
4
3
2
1
合并式
[root@node01 tmp]# sort -nr 02.txt
11
10
9
8
7
6
5
4
3
2
1
1.2.4 sort的-t 和 -k选项
-t 指定字段分割符
-k 根据哪一列进行排序
- 对学生成绩的第一例进行升序和降序排序
- 按成绩第一列降序，第二列升序排序
1.3 wc命令
wc命令用于计算字数。
利用wc指令我们可以计算文件的Byte数、字数、或是列数，若不指定文件名称、或是所给予的文件名为"-"，则wc指令会从标准输入设备读取数据。
1.3.1 语法
参数：
- -c或–bytes或–chars 只显示Bytes数。
- -l或–lines 只显示行数。
- -w或–words 只显示字数。
- –help 在线帮助。
- –version 显示版本信息。
1.3.2 准备工作
111
222 bbb
333 aaa bbb
444 aaa bbb ccc
555 aaa bbb ccc ddd
666 aaa bbb ccc ddd eee
1.3.3 需求: 统计指定文件行数 字数 字节数
在默认的情况下，wc将计算指定文件的行数、字数，以及字节数。使用的命令为：
wc 文件名
使用 wc统计，结果如下：
[root@hadoop01 ~]# wc 01.txt
6 21 85 01.txt
wc 01.txt # 01.txt 文件的统计信息
6 21 85 01.txt # 01.txt文件: 行数为6, 单词数为 21, 字节数为 85
其中，3 个数字分别表示 01.txt文件的行数、单词数，以及该文件的字节数。
1.3.4 需求: 统计多个文件的 行数 单词数 字节数
如果想同时统计多个文件的信息，例如同时统计01.txt 、02.txt 、03.txt，可使用如下命令：
[root@hadoop01 ~]# wc 01.txt 02.txt 03.txt
6 21 85 01.txt
2 3 12 02.txt
3 6 25 03.txt
11 30 122 总用量
1.3.5 需求: 查看 根目录下有多少个文件
[root@hadoop01 ~]# ls /
bin cgroup etc lib lost+found misc net proc sbin srv tmp var
boot dev home lib64 media mnt opt root selinux sys usr
[root@hadoop01 ~]# ls / | wc -w
23
1.4 uniq
uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。
1 参数说明：
-c 统计行数
2 准备工作
vim 5.txt
张三 98
李四 100
王五 90
赵六 95
麻七 70
李四 100
王五 90
赵六 95
麻七 70
3 练习1 去除5.txt中重复的行
答案：
cat 5.txt | sort | uniq
4 练习2 统计5.txt中每行内容出现的次数
答案：
cat 5.txt | sort | uniq -c
1.5 tee
tee 和 >类似，重定向的同时还在屏幕输出
参数说明：
tee -a 内容追加 和 >> 类似
[root@hadoop01 tmp]# echo 'aaa' | tee 1.txt
aaa
[root@hadoop01 tmp]# cat 1.txt
aaa
[root@hadoop01 tmp]# echo 'bbb' | tee -a 1.txt
bbb
[root@hadoop01 tmp]# cat 1.txt
aaa
bbb
练习1 统计5.txt中每行内容出现的次数输出到a.txt,并且把内容显示在控制台
答案：
sort 5.txt | uniq -c | tee a.txt
练习2 统计5.txt中每行内容出现的次数输出追加到a.txt,并且把内容显示在控制台
答案：
sort 5.txt | uniq -c | tee -a a.txt
练习3 统计5.txt中每行内容出现的次数输出追加到 多个文件中
答案：
cat 5.txt | sort | uniq -c | tee b.txt c.txt d.txt
1.6 tr
Linux tr 命令用于转换或删除文件中的字符。
tr 指令从标准输入设备读取数据，经过字符串转译后，将结果输出到标准输出设备。
-d, --delete：删除指令字符
练习1 把wbslz的小写w换成大写W
答案：
echo wbslz| tr w W
练习2 把wbslz的小写w和s换成大写W和S
答案：
echo wbslz | tr 'w' 's' | tr 'W' 'S'
练习3 把wbslz的转换为大写
答案：
echo wbslz |tr '[a-z]' '[A-Z]'
练习4
删除abc1d4e5f中的数字
答案：
echo 'abc1d4e5f' | tr -d '[0-9]'
练习5 单词计数
words.txt中的内容如下：
hello,world,hadoop
hive,sqoop,flume,hello
kitty,tom,jerry,world
hadoop
cat words.txt | tr -s ',' '\n' | sort | uniq -c | sort -r | awk '{print $2, $1}'
脚本解释：
tr -s ’ ’ ‘\n’
表示：连续出现的空格只保留一个，并在空格处以换行符分割文本
tr -s ‘,’ ‘\t’
表示 ,使用 tab代替
sort
表示：对输出文本进行排序
uniq -c
表示：对连续出现的重复的行进行计数
sort -r
表示：对输出文本进行降序排序
awk ‘{print $2, $1}’
表示：打印出文本的第二列和第一列
1.7 split
该指令将大文件分割成较小的文件，在默认情况下将按照每1000行切割成一个小文件
参数说明：
-b<字节> : 指定每多少字节切成一个小文件
-l<行数> : 指定每多少行切成一个小文件
练习1 从/etc目录下查找以conf结尾的文件，并所有文件内容写入到v.txt
答案：
find /etc/ -type f -name "*conf" -exec cat {} >> v.txt \;
[root@hadoop01 tmp]# rm -rf *
[root@hadoop01 tmp]# ll
总用量 0
[root@hadoop01 tmp]# find /etc/ -type f -name "*conf" -exec cat {} >> v.txt \;
[root@hadoop01 tmp]# ll
总用量 420
-rw-r--r--. 1 root root 429746 3月 17 23:15 v.txt
[root@hadoop01 tmp]# wc v.txt
12982 56922 429746 v.txt
练习2
把v.txt进行分割
答案：
split v.txt
练习3
把v.txt按2000进行分割
答案：
split -l 2000 v.txt
练习4 把v.txt按10k进行分割
答案：
du –sh v.txt
split -b 10k v.txt
hadoop数据的划分, 这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，默认的每个块128MB。
1.8 awk
1.8.1 简介
awk是一种处理文本文件的命令，是一个强大的文本分析工具。但是比较复杂，不过功能比sed更加的强大，它支持分段。默认每行按空格或TAB分割。
1.8.1.1 选项参数说明：
| 选项 | 含义 |
|---|---|
| -F ‘,’ | 使用指定分割符 |
| $ + 数字 | 获取第几段内容 |
| $0 | 获取当前行内容 |
| NF | 表示当前行共有多少字段 |
| $NF | 代表 最后一个字段 |
| $(NF-1) | 代表倒数第二个字段 |
| NR | 代表处理的是第几行 |
1.8.2 默认分段
默认每行按空格或TAB分割，使用$n来获取段号
vim 1.txt
aaa 111 333
bbb 444 555
ccc 666 777 888
ddd 999 222 999
练习1 创建1.txt,输入内容，打印出第1段
答案：
awk '{print $1}' 1.txt
练习2
打印出1.txt的第1,2,3段
答案：
awk '{print $1,$2,$3}' 1.txt
练习3
打印出1.txt的第1,2,3段，并且使用#号连接
答案：
awk '{print $1"#"$2"#"$3}' 1.txt
1.8.3 段之间的连接符OFS
练习1
打印1,2,3段，指定#为连接符
答案：
awk '{OFS="#"}{print $1,$2,$3}' 1.txt
1.8.4 指定分隔符
-F 来指定分隔符
- 准备工作
vim 2.txt
aaa:111:333
bbb:444:555
ccc:666:777:888
ddd:999:222:999:cccc
练习1
打印出2.txt的第1段
答案：
awk -F ':' '{print $1}' 2.txt
练习2
打印出2.txt的所有段
答案：
awk -F ':' '{print $0}' 2.txt
练习3
打印出2.txt的第1,3段
答案：
awk -F ':' '{print $1,$3}' 2.txt
1.8.5 内容匹配
练习1 匹配2.txt中包含cc的内容
答案：
awk '/cc/' 2.txt
练习2
匹配2.txt中第1段包含cc的内容
答案：
awk -F ':' '$1 ~ /cc/' 2.txt
练习3
匹配2.txt中第1段包含至少连续两个c的内容
答案：
awk -F ':' '$1 ~ /cc+/' 2.txt
练习4
在2.txt中如果匹配到aaa就打印第1,3段，如果匹配到ccc,就打印第1,3,4段
答案：
awk -F ':' '/aaa/ {print $1,$3} /ccc/ {print $1,$3,$4}' 1.txt
练习5
在2.txt中如果匹配到aaa或者ddd,就打印全部内容
答案：
awk -F ':' '/aaa|ddd/ {print $0}' 2.txt
1.8.6 段内容判断
练习1
在2.txt中如果第3段等于222就打印所有内容
答案：
awk -F ':' '$3==222 {print $0}' 2.txt
练习2
在2.txt中如果第3段等于333就打印第一段
答案：
awk -F ':' '$3==333 {print $1}' 2.txt
练习3
在2.txt中如果第3段大于等于300就打印第一段
答案：
awk -F ':' '$3>=300 {print $0}' 2.txt
练习4
在2.txt中如果第5段不等于cccc就打印全部
答案：
awk -F ':' '$5!="cccc" {print $0}' 2.txt
练习5
在2.txt中如果第1段等于ccc，并且第2段大于300就打印全部
答案：
awk -F ':' '$1=="ccc" && $2>300 {print $0}' 2.txt
练习6
在2.txt中如果第1段等于ccc，并且第2段匹配666就打印全部
答案：
awk -F ':' '$1=="ccc" && $2==666 {print $0}' 2.txt
1.8.7 段之间的比较
练习1
在2.txt中如果第3段小于第4段就打印全部
答案：
awk -F ':' '$3<$4 {print $0}' 2.txt
练习2
在2.txt中如果第2段等于第4段就打印全部
答案：
awk -F ':' '$2==$4 {print $0}' 2.txt
1.8.8 NR行号和 NF段数
练习1
打印2.txt全部内容显示行号
答案：
awk -F ':' '{print NR " : " $0}' 2.txt
练习2
打印2.txt全部内容显示段数
答案：
awk -F ':' '{print NF " : " $0}' 2.txt
练习3
打印2.txt前2行，并显示行号 （用三种不同的方式实现）
答案：
nl 2.txt | head -2
nl 2.txt | sed -n -e '1,2p'
awk -F ':' 'NR<=2 {print NR " " $0}' 2.txt
练习4
打印2.txt前2行，并且第1段匹配 aaa或者eee，打印全部，打印行号 （用两种方式）
答案：
nl 2.txt | head -2 | awk -F ':' '$1 ~ /aaa|eee/'
或者
awk -F ':' 'NR<=2 && $1 ~ /aaa|eee/ {print NR " " $0}' 2.txt
练习5 从2.txt的前3行中匹配出第2段等于 666，并显示行号（用两种方式）
答案：
nl passwd | head -n 3 | awk -F ":" '$7=="/sbin/nologin" {print $0}'
或者
awk -F ':' 'NR<=3 && $2==666 {print $0}' 2.txt
练习6
从2.txt前3行，把第1段内容替换为itheima，指定分隔符为|，显示行号（用两种方式）
答案：
nl 2.txt | head -3 | awk -F ':' '{OFS="|"} $1="itheima" {print NR " " $0}'
或者
awk -F ':' '{OFS="|"} NR<=3 && $1="itheima" {print NR " " $0}' 2.txt
1.8.9 分段求和
awk脚本，我们需要注意两个关键词BEGIN和END。
BEGIN{ 这里面放的是执行前的语句 }
{这里面放的是处理每一行时要执行的语句}
END {这里面放的是处理完所有的行后要执行的语句 }
2.8.1 练习1 对2.txt中的第2段求和
答案：
awk -F ':' 'BEGING{}{total=total+$2}END{print total}' 2.txt
1.8.10 综合练习
练习1
对统计awk目录下所有文本文件的大小
答案：
ll | awk 'BEGIN{}{total=total+$5} END{print(total)}'
练习2 打印99乘法表
答案：
awk 'BEGIN{ for(i=1;i<=9;i++){ for(j=1;j<=i;j++){ printf("%dx%d=%d%s", i, j, i*j, "\t" ) } printf("\n") } }'
1.9 sed
简介
sed命令是来处理文本文件。sed也可以实现grep的功能，但是要复杂一些。
它的强大之处在于替换。并且对于正则也是支持的。
-
参数说明：
-n 仅显示处理后的结果
-e 以选项中指定的脚本来处理输入的文本文件
-f 以选项中指定的脚本文件来处理输入的文本文件 -
动作说明：
| 动作 | 说明 |
|---|---|
| p | 打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行 |
| d | 删除 |
| a | 新增，内容出现在下一行 |
| i | 插入， 内容出现在上一行 |
| c | 取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行 |
| s | 取代，可以直接进行取代的工作！通常这个 s 的动作可以搭配正规表示法！ |
| = | 显示行号 |
准备数据
vim 1.txt
aaa java root
bbb hello
ccc rt
ddd root nologin
eee rtt
fff ROOT nologin
ggg rttt
1.9.1-n和p的组合：查找
练习1
查找01.txt中包含root行
答案：
sed -n -e '/root/p' 01.txt
练习2
查找出01.txt中包含一个或多个r,r后面是t，并显示行号
答案：
nl 01.txt | sed -nr -e '/r+t/p'
或者
sed -nr -e '/r+t/p' -e '/r+t/=' 01.txt
练习3
列出01.txt的第2行数据,并显示行号
答案：
nl 01.txt | sed -n -e '2p'
练习4 列出01.txt的第2到第5行数据，并显示行号
答案：
nl 01.txt |sed -n -e '2,5p' # 显示行号
练习5 列出01.txt全部的数据，并显示行号
答案：
nl 01.txt
cat -n 01.txt
sed -n -e '1,$p' -e '1,$=' 01.txt
练习6
列出01.txt中包含root的内容，root不区分大小写,并显示行号
答案：
nl 01.txt | sed -n -e '/root/Ip'
nl 01.txt | grep -i root
cat -n 01.txt | grep -i root
1.9.2 d 删除
练习1
删除01.txt中前3行数据，并显示行号
答案：
nl 01.txt | sed -e '1,3d'
练习2
保留01.txt中前4行数据，并显示行号
答案：
nl 01.txt | sed -e '5,$d'
1.9.3 a 和i 添加
a:在行后面插入 (append)
i:在行前面插入 (insert)
练习1:
在01.txt的第二行后添加aaaaa,并显示行号
答案：
nl 01.txt | sed '2a aaaaa'
练习2
在01.txt的第1行前添加bbbbb，并显示行号
答案：
nl 01.txt | sed -e '1i bbbbb'
1.9.4 s和c替换
s:对字符串进入替换 c:对行进行替换
练习1
把01.txt中的nologin替换成为itheima,并显示行号
答案：
nl passwd | sed -e 's/nologin/itheima/'
练习2
把01.txt中的1,2行替换为aaa,并显示行号
答案：
nl passwd | sed -e '1,2c aaa'
1.9.5 对原文件进行操作
注意：在进行操作之前，最好是对数据进行备份，放置操作失误，数据无法恢复！
练习1
删除01.txt中前2行数据，并且删除原文件中的数据
答案：
sed -i -e '1,2d' 01.txt
nl passwd 查看数据
练习2
在01.txt中把nologin替换为itheima
答案：
sed -i -e 's/nologin/itheima/' 01.txt
练习3
在01.txt文件中第2、3行替换为aaa
答案：
sed -i -e '2,3c aaa' 01.txt
1.9.6 综合练习
练习1
获取ip地址
答案：
ifconfig eth0 | grep 'inet addr:' | sed -e 's/^.addr://' | sed -e 's/Bcast.//'
练习2
从01.txt中提出数据，删除前5行，并把nologin替换为itheima,并显示行号
答案：
nl 01.txt | sed -e '1,5d' | sed -e 's/nologin/itheima/'
练习3
从01.txt中提出数据，匹配出包含root的内容，再把nologin替换为itheima
答案：
nl 01.txt | grep 'root' | sed -e 's/nologin/itheima/'
或者
nl 01.txt | sed -n -e '/root/p' | sed -e 's/nologin/itheima/'
或者
nl 01.txt | sed -n -e '/root/{s/nologin/itheima/p}' #只显示替换内容的行
2. Shell
2.1 简介
shell脚本执行方式Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。它类似于 DOS 下的 command 和后来的 cmd.exe。Shell 既是一种命令语言，又是一种程序设计语言。
Shell script 是一种为 shell 编写的脚本程序。Shell 编程一般指 shell脚本编程，不是指开发 shell 自身。
Shell 编程跟 java、php 编程一样，只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。
Linux 的 Shell 种类众多，一个系统可以存在多个 shell，可以通过 cat /etc/shells 命令查看系统中安装的 shell。
Bash 由于易用和免费，在日常工作中被广泛使用。同时，Bash 也是大多数Linux 系统默认的 Shell。
2.2快速入门
1 编写脚本
新建 /root/test/shell/01.sh 文件
#!/bin/bash
echo 'hello world'
#!是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种 Shell。
echo 命令用于向窗口输出文本。
2 解释器
java 需要 虚拟机解释器, 同理 shell脚本也需要 解析器
[root@node04 shells]# cat /etc/shells
/bin/sh
/bin/bash
/sbin/nologin
/bin/dash
/bin/tcsh
/bin/csh
3 执行shell脚本
3.1 执行方式一
[root@node04 shells]# /bin/sh 01.sh
hello world
[root@node04 shells]# /bin/bash 01.sh
hello world
3.3.1 问题: bash 和 sh****是什么关系?
sh 是 bash 的 快捷方式
3.2 执行方式二
方式一的简化方式
[root@node04 shells]# bash 01.sh
hello world
[root@node04 shells]# sh 01.sh
hello world
3.2.1 问题: 请思考 为什么可以省略 /bin/
因为 PATH环境变量中增加了 /bin/目录, 所以 使用/bin/sh等类似指令时, 可以省略 /bin
3.3 执行方式三
./文件名
[root@node04 shells]# ll
总用量 4
-rw-r--r--. 1 root root 32 3月 14 00:20 01.sh
[root@node04 shells]# ./01.sh
-bash: ./01.sh: 权限不够
3.3.1 权限不够怎么办?
[root@node04 shells]# chmod +x 01.sh
[root@node04 shells]# ll
总用量 4
-rwxr-xr-x. 1 root root 32 3月 14 00:20 01.sh
再次执行:
[root@node04 shells]# ./01.sh
hello world!
2.3 shell变量
1 简介
定义变量时，变量名不加美元符号（$，PHP语言中变量需要），如：
your_name=“runoob.com”
注意，变量名和等号之间不能有空格，这可能和你熟悉的所有编程语言都不一样。同时，变量名的命名须遵循如下规则：
- 命名只能使用英文字母，数字和下划线，首个字符不能以数字开头。
- 中间不能有空格，可以使用下划线（_）。
- 不能使用标点符号。
- 不能使用bash里的关键字（可用help命令查看保留关键字）。
有效的 Shell 变量名示例如下：
RUNOOB
LD_LIBRARY_PATH
_var
var2
无效的变量命名：
?var=123
user*name=runoob
除了显式地直接赋值，还可以用语句给变量赋值，如：
for file in `ls /etc`
或
for file in $(ls /etc)
以上语句将 /etc 下目录的文件名循环出来。
2 使用变量
使用一个定义过的变量，只要在变量名前面加美元符号即可，如：
your_name="qinjx"
echo $your_name
echo ${your_name}
变量名外面的花括号是可选的，加不加都行，加花括号是为了帮助解释器识别变量的边界，比如下面这种情况：
for skill in Ada Coffe Action Java; do
echo "I am good at ${skill}Script"
done
如果不给skill变量加花括号，写成echo "I am good at $skillScript"，解释器就会把$skillScript当成一个变量（其值为空），代码执行结果就不是我们期望的样子了。
推荐给所有变量加上花括号，这是个好的编程习惯。
已定义的变量，可以被重新定义，如：
your_name="tom"
echo $your_name
your_name="alibaba"
echo $your_name
这样写是合法的，但注意，第二次赋值的时候不能写$your_name="alibaba"，使用变量的时候才加美元符（$）。
3 只读变量
使用 readonly 命令可以将变量定义为只读变量，只读变量的值不能被改变。
下面的例子尝试更改只读变量，结果报错：
#!/bin/bash
myUrl="http://www.google.com"
readonly myUrl
myUrl="http://www.runoob.com"
运行脚本，结果如下：
/bin/sh: NAME: This variable is read only.
4 删除变量
使用 unset 命令可以删除变量。语法：
unset variable_name
变量被删除后不能再次使用。unset 命令不能删除只读变量。
实例
#!/bin/sh
myUrl="http://www.runoob.com"
unset myUrl
echo $myUrl
以上实例执行将没有任何输出。
2.4 字符串
字符串是shell编程中最常用最有用的数据类型（除了数字和字符串，也没啥其它类型好用了），字符串可以用单引号，也可以用双引号，也可以不用引号。
1 单引号
name='乔布斯'
str='我很崇拜$name'
echo $str
输出结果为:
我很崇拜$name
单引号字符串的限制：
- 单引号里的任何字符都会原样输出，单引号字符串中的变量是无效的；
- 单引号字串中不能出现单独一个的单引号（对单引号使用转义符后也不行），但可成对出现，作为字符串拼接使用。
2 双引号
name="乔布斯"
str="我很崇拜$name"
echo $str
输出结果为：
我很崇拜 乔布斯
双引号的优点：
- 双引号里可以有变量
- 双引号里可以出现转义字符
3 拼接字符串
3.1 使用双引号拼接
yourname="吴恩达"
wenhou_1="你好,$yourname ."
wenhou_2="你好,"$yourname" ."
wenhou_3="你好,\"$yourname\" ."
echo $wenhou_1 $wenhou_2 $wenhou_3
输出结果为：
你好,吴恩达 . 你好,吴恩达 . 你好,"吴恩达" .
3.2 使用单引号拼接
yourname="乔布斯"
wenhou_4='你好,$yourname.'
wenhou_5='你好,'$yourname.''
wenhou_6='你好,"$yourname" .'
echo $wenhou_3 $wenhou_4 $wenhou_5
输出结果
你好,$yourname. 你好,乔布斯. 你好,"$yourname" .
4 获取字符串长度
string="jobs"
echo ${string} # 输出结果: jobs
echo ${#string} # 输出结果: 4
5 提取子字符串
以下实例从字符串第 2 个字符开始截取 4 个字符：
string="敢于亮剑决不后退"
echo ${string:2:2} # 输出结果为: 亮剑
6 查找子字符串
查找字符 i 或 o 的位置(哪个字母先出现就计算哪个)：
string="i am a boy"
echo `expr index "$string" am` # 输出是: 3
注意： 以上脚本中 ` 是反引号(Esc下面的)，而不是单引号 '，不要看错了哦。
2.5 Shell 传递参数
我们可以在执行 Shell 脚本时，向脚本传递参数，脚本内获取参数的格式为：$n。
n 代表一个数字，1 为执行脚本的第一个参数，2 为执行脚本的第二个参数，以此类推……
实例
以下实例我们向脚本传递三个参数，并分别输出，其中 $0 为执行的文件名：
#!/bin/bash
echo "Shell 传递参数实例！";
echo "执行的文件名：$0";
echo "第一个参数为：$1";
echo "第二个参数为：$2";
echo "第三个参数为：$3";
为脚本设置可执行权限，并执行脚本，输出结果如下所示：
$ chmod +x test.sh
$ ./test.sh 1 2 3
Shell 传递参数实例！
执行的文件名：./test.sh
第一个参数为：1
第二个参数为：2
第三个参数为：3
另外，还有几个特殊字符用来处理参数：
| 参数处理 | 说明 |
|---|---|
| $# | 传递到脚本的参数个数 |
| $* | 以一个单字符串显示所有向脚本传递的参数。 如"$*“用「”」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。 |
| $$ | 脚本运行的当前进程ID号 |
| $! | 后台运行的最后一个进程的ID号 |
| $@ | 与$*相同，但是使用时加引号，并在引号中返回每个参数。 如"$@“用「”」括起来的情况、以"$1" "$2" … "$n" 的形式输出所有参数。 |
| $- | 显示Shell使用的当前选项，与set命令功能相同。 |
| $? | 显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误。 |
#!/bin/bash
echo "Shell 传递参数实例！";
echo "第一个参数为：$1";
echo "参数个数为：$#";
echo "传递的参数作为一个字符串显示：$*";
执行脚本，输出结果如下所示：
$ chmod +x test.sh
$ ./test.sh 1 2 3
Shell 传递参数实例！
第一个参数为：1
参数个数为：3
传递的参数作为一个字符串显示：1 2 3
$* 与 $@ 区别：
- 相同点：都是引用所有参数。
- 不同点：只有在双引号中体现出来。假设在脚本运行时写了三个参数 1、2、3，，则 " * " 等价于 “1 2 3”（传递了一个参数），而 “@” 等价于 “1” “2” “3”（传递了三个参数）。
执行脚本，输出结果如下所示：
2.6 Shell算术运算符
1 简介
Shell 和其他编程一样，支持包括：算术、关系、布尔、字符串等运算符。原生 bash 不支持简单的数学运算，但是可以通过其他命令来实现，例如expr。expr 是一款表达式计算工具，使用它能完成表达式的求值操作。
例如，两个数相加：
val=`expr 2 + 2`
echo $val
注意：
表达式和运算符之间要有空格，例如 2+2 是不对的，必须写成 2 + 2。
完整的表达式要被 包含，注意不是单引号，在 Esc 键下边。
下表列出了常用的算术运算符，假定变量 a 为 10，变量 b 为 20：
| 运算符 | 说明 | 举例 |
|---|---|---|
| + | 加法 | expr $a + $b 结果为 30。 |
| - | 减法 | expr $a - $b 结果为 -10。 |
| * | 乘法 | expr $a \* $b 结果为 200。 |
| / | 除法 | expr $b / $a 结果为 2。 |
| % | 取余 | expr $b % $a 结果为 0。 |
| = | 赋值 | a=$b 将把变量 b 的值赋给 a。 |
| == | 相等。用于比较两个数字，相同则返回 true。 | [ $a == $b ] 返回 false。 |
| != | 不相等。用于比较两个数字，不相同则返回 true。 | [ $a != $b ] 返回 true。 |
**注意：**条件表达式要放在方括号之间，并且要有空格，例如: [ b] 是错误的，必须写成 [ $a == $b ]。
2 例子
#!/bin/bash
a=4
b=20
#加法运算
each expr $a + $b
#减法运算
echo expr $a - $b
#乘法运算，注意*号前面需要反斜杠
echo expr $a \* $b
#除法运算
echo $a / $b
此外，还可以通过(())、$(())、$[]进行算术运算。
((a++))
echo "a = $a"
c=$((a+b))
d=$[a+b]
echo "c = $c"
echo "d = $d"
2.7流程控制
1 if else
1.1 if
if 语句语法格式：
if condition
then
command1
command2
...
commandN
fi
写成一行（适用于终端命令提示符）：
if [ $(ps -ef | grep -c "ssh") -gt 1 ]; then echo "true"; fi
末尾的fi就是if倒过来拼写，后面还会遇到类似的。
1.2 if else
if else 语法格式：
if condition
then
command1
command2
...
commandN
else
command
fi
示例:
1.3 if else-if else
if else-if else 语法格式：
if condition1
then
command1
elif condition2
then
command2
else
commandN
fi
以下实例判断两个变量是否相等：
关系运算符
关系运算符只支持数字，不支持字符串，除非字符串的值是数字。
下表列出了常用的关系运算符，假定变量 a 为 10，变量 b 为 20：
| 运算符 | 说明 | 举例 |
|---|---|---|
| -eq | 检测两个数是否相等，相等返回 true。 | [ $a -eq $b ] 返回 false。 |
| -ne | 检测两个数是否不相等，不相等返回 true。 | [ $a -ne $b ] 返回 true。 |
| -gt | 检测左边的数是否大于右边的，如果是，则返回 true。 | [ $a -gt $b ] 返回 false。 |
| -lt | 检测左边的数是否小于右边的，如果是，则返回 true。 | [ $a -lt $b ] 返回 true。 |
| -ge | 检测左边的数是否大于等于右边的，如果是，则返回 true。 | [ $a -ge $b ] 返回 false。 |
| -le | 检测左边的数是否小于等于右边的，如果是，则返回 true。 | [ $a -le $b ] 返回 true。 |
a=10
b=20
if [ $a == $b ]
then
echo "a 等于 b"
elif [ $a -gt $b ]
then
echo "a 大于 b"
elif [ $a -lt $b ]
then
echo "a 小于 b"
else
echo "没有符合的条件"
fi
输出结果：
a 小于 b
if else语句经常与test命令结合使用，如下所示：
num1=$[2*3]
num2=$[1+5]
if test $[num1] -eq $[num2]
then
echo '两个数字相等!'
else
echo '两个数字不相等!'
fi
输出结果：
两个数字相等!
示例
结果
2 for 循环
与其他编程语言类似，Shell支持for循环。
for循环一般格式为：
for var in item1 item2 ... itemN
do
command1
command2
...
commandN
done
写成一行：
for var in item1 item2 ... itemN; do command1; command2… done;
当变量值在列表里，for循环即执行一次所有命令，使用变量名获取列表中的当前取值。命令可为任何有效的shell命令和语句。in列表可以包含替换、字符串和文件名。
in列表是可选的，如果不用它，for循环使用命令行的位置参数。
例如，顺序输出当前列表中的数字：
for loop in 1 2 3 4 5
do
echo "The value is: $loop"
done
输出结果：
The value is: 1
The value is: 2
The value is: 3
The value is: 4
The value is: 5
顺序输出字符串中的字符：
for str in 'This is a string'
do
echo $str
done
输出结果：
This is a string
示例：
#!/bin/bash
#需求1：遍历1~5
for i in 1 2 3 4 5;do
echo $i
done
#需求2：遍历 1~100
for i in {1..100};do
echo $i
done
#需求3：遍历 1~100之间的奇数
for i in {1..100..2};do
echo $i
done
#需求4：遍历 根目录下的内容
for f in `ls /`;do
echo $f
done
结果：
3 while 语句
while循环用于不断执行一系列命令，也用于从输入文件中读取数据；命令通常为测试条件。其格式为：
while condition
do
command
done
以下是一个基本的while循环，测试条件是：如果int小于等于5，那么条件返回真。int从0开始，每次循环处理时，int加1。运行上述脚本，返回数字1到5，然后终止。
#!/bin/bash
int=1
while(( $int<=5 ))
do
echo $int
let "int++"
done
运行脚本，输出：
1
2
3
4
5
使用中使用了 Bash let 命令，它用于执行一个或多个表达式，变量计算中不需要加上 $ 来表示变量，具体可查阅：Bash let 命令。
4 无限循环
无限循环语法格式：
while :
do
command
done
或者
while true
do
command
done
或者
for (( ; ; ))
5 case
Shell case语句为多选择语句。可以用case语句匹配一个值与一个模式，如果匹配成功，执行相匹配的命令。case语句格式如下：
case 值 in
模式1)
command1
command2
...
commandN
;;
模式2）
command1
command2
...
commandN
;;
esac
case工作方式如上所示。取值后面必须为单词in，每一模式必须以右括号结束。取值可以为变量或常数。匹配发现取值符合某一模式后，其间所有命令开始执行直至 ;;。
取值将检测匹配的每一个模式。一旦模式匹配，则执行完匹配模式相应命令后不再继续其他模式。如果无一匹配模式，使用星号 * 捕获该值，再执行后面的命令。
下面的脚本提示输入1到4，与每一种模式进行匹配：
echo '输入 1 到 4 之间的数字:'
echo '你输入的数字为:'
read aNum
case $aNum in
1) echo '你选择了 1'
;;
2) echo '你选择了 2'
;;
3) echo '你选择了 3'
;;
4) echo '你选择了 4'
;;
*) echo '你没有输入 1 到 4 之间的数字'
;;
esac
输入不同的内容，会有不同的结果，例如：
输入 1 到 4 之间的数字:
你输入的数字为:
3
你选择了 3
6 跳出循环 break
在循环过程中，有时候需要在未达到循环结束条件时强制跳出循环，Shell使用两个命令来实现该功能：break和continue。
break命令
break命令允许跳出所有循环（终止执行后面的所有循环）。
下面的例子中，脚本进入死循环直至用户输入数字大于5。要跳出这个循环，返回到shell提示符下，需要使用break命令。
#!/bin/bash
while :
do
echo -n "输入 1 到 5 之间的数字:"
read aNum
case $aNum in
1|2|3|4|5) echo "你输入的数字为 $aNum!"
;;
*) echo "你输入的数字不是 1 到 5 之间的! 游戏结束"
break
;;
esac
done
执行以上代码，输出结果为：
输入 1 到 5 之间的数字:3
你输入的数字为 3!
输入 1 到 5 之间的数字:7
你输入的数字不是 1 到 5 之间的! 游戏结束
6 跳出当前本次循环 break
continue命令与break命令类似，只有一点差别，它不会跳出所有循环，仅仅跳出当前循环。
对上面的例子进行修改：
#!/bin/bash
while :
do
echo -n "输入 1 到 5 之间的数字: "
read aNum
case $aNum in
1|2|3|4|5) echo "你输入的数字为 $aNum!"
;;
*) echo "你输入的数字不是 1 到 5 之间的!"
continue
echo "游戏结束"
;;
esac
done
运行代码发现，当输入大于5的数字时，该例中的循环不会结束，语句 **echo "**游戏结束" 永远不会被执行。
结果：
2.8 函数使用
1 语法
linux shell 可以用户定义函数，然后在shell脚本中可以随便调用。
shell中函数的定义格式如下：
[ function ] funname()
{
action;
[return int;]
}
说明：
- 1、可以带function fun() 定义，也可以直接fun() 定义,不带任何参数。
- 2、参数返回，可以显示加：return 返回，如果不加，将以最后一条命令运行结果，作为返回值。 return后跟数值n(0-255
下面的例子定义了一个函数并进行调用：
#!/bin/bash
demoFun(){
echo "这是我的第一个 shell 函数!"
}
echo "-----函数开始执行-----"
demoFun
echo "-----函数执行完毕-----"
输出结果：
-----函数开始执行-----
这是我的第一个 shell 函数!
-----函数执行完毕-----
下面定义一个带有return语句的函数：
#!/bin/bash
funWithReturn(){
echo "这个函数会对输入的两个数字进行相加运算..."
echo "输入第一个数字: "
read aNum
echo "输入第二个数字: "
read anotherNum
echo "两个数字分别为 $aNum 和 $anotherNum !"
return $(($aNum+$anotherNum))
}
funWithReturn
echo "输入的两个数字之和为 $? !"
输出类似下面：
这个函数会对输入的两个数字进行相加运算...
输入第一个数字:
1
输入第二个数字:
2
两个数字分别为 1 和 2 !
输入的两个数字之和为 3 !
函数返回值在调用该函数后通过 $? 来获得。
注意：所有函数在使用前必须定义。这意味着必须将函数放在脚本开始部分，直至shell解释器首次发现它时，才可以使用。调用函数仅使用其函数名即可。
2 函数参数
在Shell中，调用函数时可以向其传递参数。在函数体内部，通过 $n 的形式来获取参数的值，例如，$1表示第一个参数，$2表示第二个参数…
带参数的函数示例：
#!/bin/bash
funWithParam(){
echo "第一个参数为 $1 !"
echo "第二个参数为 $2 !"
echo "第十个参数为 $10 !"
echo "第十个参数为 ${10} !"
echo "第十一个参数为 ${11} !"
echo "参数总数有 $# 个!"
echo "作为一个字符串输出所有参数 $* !"
}
funWithParam 1 2 3 4 5 6 7 8 9 34 73
输出结果：
第一个参数为 1 !
第二个参数为 2 !
第十个参数为 10 !
第十个参数为 34 !
第十一个参数为 73 !
参数总数有 11 个!
作为一个字符串输出所有参数 1 2 3 4 5 6 7 8 9 34 73 !
注意， {10}。当n>=10时，需要使用${n}来获取参数。
另外，还有几个特殊字符用来处理参数：
| 参数处理 | 说明 |
|---|---|
| $# | 传递到脚本的参数个数 |
| $* | 以一个单字符串显示所有向脚本传递的参数 |
| $$ | 脚本运行的当前进程ID号 |
| $! | 后台运行的最后一个进程的ID号 |
| $@ | 与$*相同，但是使用时加引号，并在引号中返回每个参数。 |
| $- | 显示Shell使用的当前选项，与set命令功能相同。 |
| $? | 显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误。 |
示例
效果
2.9 数组
1 定义数组
数组中可以存放多个值。Bash Shell 只支持一维数组（不支持多维数组），初始化时不需要定义数组大小（与 PHP 类似）。
与大部分编程语言类似，数组元素的下标由0开始。
Shell 数组用括号来表示，元素用"空格"符号分割开，语法格式如下：
array_name=(value1 … valuen)
1.1 实例
#!/bin/bash
my_array=(A B "C" D)
我们也可以使用下标来定义数组:
array_name[0]=value0
array_name[1]=value1
array_name[2]=value2
2 读取数组
读取数组元素值的一般格式是：
${array_name[index]}
2.1 实例
#!/bin/bash
my_array=(A B "C" D)
echo "第一个元素为: ${my_array[0]}"
echo "第二个元素为: ${my_array[1]}"
echo "第三个元素为: ${my_array[2]}"
echo "第四个元素为: ${my_array[3]}"
执行脚本，输出结果如下所示：
$ chmod +x test.sh
$ ./test.sh
第一个元素为: A
第二个元素为: B
第三个元素为: C
第四个元素为: D
2.2 获取数组中的所有元素
使用@ 或 * 可以获取数组中的所有元素，例如：
#!/bin/bash
my_array[0]=A
my_array[1]=B
my_array[2]=C
my_array[3]=D
echo "数组的元素为: ${my_array[*]}"
echo "数组的元素为: ${my_array[@]}"
执行脚本，输出结果如下所示：
$ chmod +x test.sh
$ ./test.sh
数组的元素为: A B C D
数组的元素为: A B C D
2.3 获取数组的长度
获取数组长度的方法与获取字符串长度的方法相同，例如：
#!/bin/bash
my_array[0]=A
my_array[1]=B
my_array[2]=C
my_array[3]=D
echo "数组元素个数为: ${#my_array[*]}"
echo "数组元素个数为: ${#my_array[@]}"
执行脚本，输出结果如下所示：
$ chmod +x test.sh
$ ./test.sh
数组元素个数为: 4
数组元素个数为: 4
3 遍历数组
3.1 方式一
#!/bin/bash
my_arr=(AA BB CC)
for var in ${my_arr[*]}
do
echo $var
done
3.2 方式二
my_arr=(AA BB CC)
my_arr_num=${#my_arr[*]}
for((i=0;i<my_arr_num;i++));
do
echo "-----------------------------"
echo ${my_arr[$i]}
done
示例：
效果：
2.10 select
1 简介
select表达式是bash的一种扩展应用，擅长于交互式场合。用户可以从一组不同的值中进行选择：
select var in ... ;
do
commond
done
.... now $var can be used ...
注意：
select 是个无限循环，因此要记住用 break 命令退出循环，或用exit 命令终止脚本
示例
下面是一个简单的示例：
#!/bin/bash
echo "What is your favourite OS?"
select var in "Linux" "Gnu Hurd" "Free BSD" "Other";
do
break;
done
echo "You have selected $var"
该脚本的运行结果如下：
What is your favourite OS?
1) Linux
2) Gnu Hurd
3) Free BSD
4) Other
#? 1
You have selected Linux
2 练习
实现如下的效果
1) java
2) c++
3) shell
请输入你的选择:3
你选择的是shell
代码如下
#!/bin/bash
select var in java c++ shell;
do
break;
done
echo "你选择的是$var"
3 select和case的综合练习
#!/bin/bash
echo "你想学习什么语言?"
PS3="请输入你的选择:" # 设置提示字符串
select var in java c++ shell python;
do
case $var in
"java")
echo "恭喜你选择成功.java最牛"
;;
"c++")
echo "驱动开发 网络优化 go 语言"
;;
"shell")
echo "运维必会"
;;
python)
echo "人工智能"
esac
break # 如果这里没有break 将会进行无限循环
done
echo "你选择的是:$var"
4 修改提示符PS3
PS3作为select语句的shell界面提示符，提示符为PS3的值（赋予的字符串），更换默认的提示符”#?”
注意：PS3一定要定义在select语句的前面
#!/bin/bash
PS3="请输入你的选择:"
select var in java c++ shell;
do
break;
done
echo "你选择的是$var"
2.11 EOF
Shell中通常将EOF与 << 结合使用，表示后续的输入作为子命令或子Shell的输入，直到遇到EOF为止，再返回到主调Shell。
1. 覆盖效果
#!/bin/bash
cat >/root/a.txt <<EOF
ABCD
EOF
2. 追加效果
#!/bin/bash
cat >/root/a.txt <<EOF
ABCD
EOF
2.12 加载其它文件的变量
1 简介
和其他语言一样，Shell 也可以包含外部脚本。这样可以很方便的封装一些公用的代码作为一个独立的文件。
Shell 文件包含的语法格式如下：
. filename # 注意点号(.)和文件名中间有一空格
或
source filename
2 练习
定义两个文件 test1.sh和test2.sh，在test1中定义一个变量arr=(java c++ shell),在test2中对arr进行循环打印输出。
第一步: vim test1.sh
#!/bin/bash
my_arr=(AA BB CC)
第二步: vim test2.sh
#!/bin/bash
source ./test1.sh # 加载test1.sh 的文件内容
for var in ${my_arr[*]}
do
echo $var
done
第三步: 执行 test2.sh
sh test2.sh
好处 :
1. 数据源 和 业务处理 分离
2. 复用 代码扩展性更强
2.13 一键安装jdk
1 思路
#第1步：提示用户安装jdk
#第2步：删除centos自带的jdk
#第3步：创建/usr/local/java目录，进入目录
#第4步：下载jdk安装包
#第5步：解压jdk，删除压缩包
#第6步：设置环境变量
#第7步：加载环境变量
#第8步：提示用户安装成功，查看java的版本
2 代码
#!/bin/bash
# 1.提示安装jdk
echo "现在开始安装jdk"
sleep 1 # 休眠1秒钟
# 2.删除centos自带的jdk
oldjava=` rpm -qa | grep java `
for old in ${oldjava};
do
# echo $old
rpm -e --nodeps $old
done
# 3.创建安装目录/usr/local/java, 进入安装目录
java_path="/usr/local/java"
if [ ! -d $java_path ]
then
mkdir -p $java_path
fi
cd $java_path
# 4.下载jdk安装包
if [ ! -f jdk-8u141-linux-x64.tar.gz ]
then
cp /export/soft/jdk-8u141-linux-x64.tar.gz ./
fi
# 5.解压缩安装包,删除安装包
if [ ! -f jdk1.8.0_141 ]
then
tar -zxvf jdk-8u141-linux-x64.tar.gz
rm -rf jdk-8u141-linux-x64.tar.gz
fi
# 6.设置环境变量
JAVA_HOME="/usr/local/java/jdk1.8.0_141"
if ! grep "JAVA_HOME=$JAVA_HOME" /etc/profile
then
echo "-------------------- path = $PATH"
# JAVA_HOME
echo "--------------JAVA_HOME------------------"
echo "export JAVA_HOME=$JAVA_HOME" | tee -a /etc/profile
# PATH
echo "--------------PATH------------------------"
echo "export PATH=:$JAVA_HOME/bin:$PATH" | tee -a /etc/profile
fi
# 7.加载环境变量
source /etc/profile
# 8.提示用户安装成功,查看jdk安装版本
echo "恭喜您,jdk安装成功!"
java -version
注意：在var目录上传jdk安装包！！！
从网络上下载jdk地址
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
