笔记--shell脚本(2 语法)

        ===========语法===========
            --什么也不做,类似python的pass
                if [[ $num == 0 ]];then
                        :;
                else

            ----按行循环
                # for i in `cat xxx`会循环所有\n \t 和空格分开的元素
                cat $1|while read line;do
                    echo $line|grep '^#' &>/dev/null && { date -d @`echo $line|tr -d "#"` '+%F %T'|tr '\n' '\t'; } || echo $line;
                done
            
            ----case
                case $1 in
                1|print_password)
                        get_secert;;
                2|get_log)
                        get_k8s_log;;
                3|del_pod)
                        del_pod;;
                4|del_service)
                        del_service;;
                5|cp_log)
                        cp_log;;
                *)
                        echo "使用方法:$0 选项号/选项名"
                        echo '支持的选项:
                        1,print_password
                        2,get_log
                        3,del_pod
                        4,del_service
                        5,cp_log'
                esac
            
            ----多进程--
                基本:
                    for i in `seq 5`;do
                            {
                                    python3 test.py        #{}代码块内可以写多个命令
                            }&
                    done
                    echo "jobs:`jobs -p`"                    #jobs显示为脚本启动的子进程pid
                    ps -ef|grep $$                            #可以看出和上面相同的子进程pid,父进程为$$脚本自己
                    ps -ef|grep python3                    #可以看出每个子进程再次启动了一个python3子进程
                    wait                                                #等待所有子进程结束(不加会直接退出主进程),注意:函数内的wait,只会等待函数的子进程
                    
                限制进程数:
                    process_number=4

                    fifo_file=/tmp/tmp.fifo
                    mkfifo ${fifo_file}        #创建一个管道文件,例:mkfifo pipe2,在第一个终端执行ls > pipe2,在第二个终端执行,cat < pipe2

                    function sub_process {
                            echo "processing in pid [$$]"
                            sleep 1
                    }

                    exec 11<>${fifo_file}        #绑定fd11 与 管道文件
                    rm ${fifo_file}                #管道文件没啥用了,删掉

                    for (( idx=0;idx<${process_number};idx++ ));do
                            echo                                #给管道文件加了 process_number 行
                    done >&11

                    for (( idx=0;idx<20;idx++ ));do
                            read -u11                        #从管道文件读取,每次一行
                            {
                                    sub_process && echo "sub_process is finished" || echo 'sub error'        #执行任务,完成后再补充一行到管道文件
                                    echo >&11
                            } &
                    done

                    exec 11>&-                #关闭fd11
                    wait                            #等待子进程结束
                
            ----变量引用与赋值------
                --赋值时判空
                    m=${1:-start}表示:
                        如果$1存在且不为空,m就是$1
                        如果$1不存在或为空,那么m就是start
        
            -----数组-----
                --数组赋值数组
                    array1=("a" "b" "c")
                    array2=(${array1[*]})

                    *为每个成员一个字符串,@为所有字符串
                    循环数组:
                    arr=(172.19.2.45 172.19.2.191 172.19.2.216 172.19.2.217 172.19.2.243 172.19.2.245)
                    for i in ${arr[@]};do ssh-copy-id pio@$i;done
                
                --数组长度、索引
                    a1=(11 22 33 44)
                    ]echo ${#a1[@]}
                    4
                    ]echo ${!a1[@]}            #关联数组获取到的为key
                    0 1 2 3
                    
                --关联数组
                    #定义一个关联数组
                    ]declare -A array
                    #赋值
                    ]array['tom']=18
                    ]array['jerry']=19
                    #获取value
                    ]echo ${array[tom]}
                    18
                    #获取所有value
                    ]echo ${array[@]}
                    18 19
                    #获取所有key
                    ]echo ${!array[@]}
                    tom jerry
                    
                --数组切片
                    [ chenqing@Qing ~  ] echo ${array[@]:0:1}
                    Zero
                    [ chenqing@Qing ~  ] echo ${array[@]:0:2}
                    Zero One
                    [ chenqing@Qing ~  ] echo ${array[@]:0:3}
                    Zero One Two
                    [ chenqing@Qing ~  ] echo ${array[@]:1}
                    One Two
                    [ chenqing@Qing ~  ] echo ${array[@]:2}
                    Two

            ------字符串操作------
                shell换行:末尾加上续行符“ \”(即空格+\

                --替换字符串
                    ]file_name='abc.war'
                    ]file=${file_name/.war/-1.0.0.1.war}
                    ]echo $file
                    abc-1.0.0.1.war

                --字符串截取
                    ]file_jpg='sample.jpg'
                    ]name=${file_jpg%.*}
                    ]echo $name
                    sample
                    ]extension=${file_jpg#*.}
                    ]echo $extension
                    jpg
                        从 $VAR中删除位于%右侧的通配符(在上例中是.*)所匹配的字符串。通配符从右向左进 行匹配。  给VAR赋值,即VAR=sample.jpg。通配符从右向左匹配到的内容是.jpg,因此从$VAR中 删除匹配结果,得到输出sample。 
                        %属于非贪婪(non-greedy)操作。它从右向左找出匹配通配符的短结果。还有另一个操作 符%%,它与%相似,但行为模式却是贪婪
                        ${VAR#*.}的含义如下: 
                        从$VARIABLE中删除位于#右侧的通配符(即在上例中使用的*.)从左向右所匹配到的字 符串。 
                        和%%类似,#也有一个对应的贪婪操作符##。
                    例:
                        ]var=hack.fun.book.txt
                        ]echo ${var%.*}
                        hack.fun.book
                        ]echo ${var%%.*}
                        hack
                        ]echo ${var#*.}
                        fun.book.txt
                        ]echo ${var##*.}
                        txt
        
            ----传参
                $# 是传给脚本的参数个数
                $0 是脚本本身的名字
                $1 是传递给该shell脚本的第一个参数
                $2 是传递给该shell脚本的第二个参数
                $@ 是传给脚本的所有参数的列表
                $* 是以一个单字符串显示所有向脚本传递的参数,与位置变量不同,参数可超过9个
                $$ 是脚本运行的当前进程ID号
                $? 是显示最后命令的退出状态,0表示没有错误,其他表示有错误
    
            --函数--
                格式:
                    function get_url(){}
                引用:
                    get_url 参数1 参数2 ...
                返回值:两种
                    return int数值
                    echo 字符串
                
            --三元运算
                例:parm大于0,返回parm的值;否则,返回5:
                ]export parm=1;echo $((parm>0?parm:5))
                1
                ]export parm=-1;echo $((parm>0?parm:5))
                5
            
            --if 
                if单行:分支中如果有nohup ... &结构,& 和 fi 中间不能写;
                if [[ -z `ss -tnlp|grep 9201` ]];then nohup /home/elastic/kibana-5.6.11-linux-x86_64/bin/kibana &>/home/elastic/kibana-5.6.11-linux-x86_64/kibana.log & fi
            
            -------比较符----------
                文件比较符:
                    -e 判断对象是否存在
                    -d 判断对象是否存在,并且为目录
                    -f 判断对象是否存在,并且为常规文件
                    -L 判断对象是否存在,并且为符号链接
                    -h 判断对象是否存在,并且为软链接
                    -s 判断对象是否存在,并且长度不为0
                    -r 判断对象是否存在,并且可读
                    -w 判断对象是否存在,并且可写
                    -x 判断对象是否存在,并且可执行
                    -O 判断对象是否存在,并且属于当前用户
                    -G 判断对象是否存在,并且属于当前用户组
                    -nt 判断file1是否比file2新  [ "/data/file1" -nt "/data/file2" ]
                    -ot 判断file1是否比file2旧  [ "/data/file1" -ot "/data/file2" ]

                整数比较 :
                    -eq       等于,如:if [ "$a" -eq "$b" ] 
                    -ne       不等于,如:if [ "$a" -ne "$b" ] 
                    -gt       大于,如:if [ "$a" -gt "$b" ] 
                    -ge       大于等于,如:if [ "$a" -ge "$b" ] 
                    -lt       小于,如:if [ "$a" -lt "$b" ] 
                    -le       小于等于,如:if [ "$a" -le "$b" ] 
                    <       小于(需要双括号),如:(("$a" < "$b")) 
                    <=       小于等于(需要双括号),如:(("$a" <= "$b")) 
                    >       大于(需要双括号),如:(("$a" > "$b")) 
                    >=       大于等于(需要双括号),如:(("$a" >= "$b")) 
                    !=        不等于,(需要双括号),如:(("$a" != "$b")) 
                    例:
                        count=1;while (($count <= 40)) ;do echo $count; ((count++)) ; done

                字符串比较 :
                    -z     zero  字符串为"null".就是长度为0. True if the length of string is zero.
                    -n     non-zero  字符串不为"null" True if the length of string is non-zero.
                           注意: 
                           使用-n在[]结构中测试必须要用""把变量引起来.使用一个未被""的字符串来使用! -z 
                           或者就是未用""引用的字符串本身,放到[]结构中。虽然一般情况下可 
                           以工作,但这是不安全的.习惯于使用""来测试字符串是一种好习惯.
                    =       等于,如:if [ "$a" = "$b" ] 
                    ==       等于,如:if [ "$a" == "$b" ],与=等价 
                           注意:==的功能在[[]]和[]中的行为是不同的,如下: 
                           1 [[ $a == z* ]]    # 如果$a以"z"开头(模式匹配)那么将为true 
                           2 [[ $a == "z*" ]] # 如果$a等于z*(字符匹配),那么结果为true 
                           3 
                           4 [ $a == z* ]      # File globbing 和word splitting将会发生 
                           5 [ "$a" == "z*" ] # 如果$a等于z*(字符匹配),那么结果为true 
                           一点解释,关于File globbing是一种关于文件的速记法,比如"*.c"就是,再如~也是. 
                           但是file globbing并不是严格的正则表达式,虽然绝大多数情况下结构比较像. 
                    !=       不等于,如:if [ "$a" != "$b" ] 
                           这个操作符将在[[]]结构中使用模式匹配. 
                    <       小于,在ASCII字母顺序下.如: 
                           if [[ "$a" < "$b" ]] 
                           if [ "$a" \< "$b" ] 
                           注意:在[]结构中"<"需要被转义. 
                    >       大于,在ASCII字母顺序下.如: 
                           if [[ "$a" > "$b" ]] 
                           if [ "$a" \> "$b" ] 
                           注意:在[]结构中">"需要被转义. 
                     
            -----shell中各种括号的作用详解()、(())、[]、[[]]、{}------
                一、小括号,圆括号()
                    1、单小括号 ()
                      ①命令组。括号中的命令将会新开一个子shell顺序执行,所以括号中的变量不能够被脚本余下的部分使用。括号中多个命令之间用分号隔开,最后一个命令可以没有分号,各命令和括号之间不必有空格。
                      ②命令替换。等同于`cmd`,shell扫描一遍命令行,发现了$(cmd)结构,便将$(cmd)中的cmd执行一次,得到其标准输出,再将此输出放到原来命令。有些shell不支持,如tcsh。
                      ③用于初始化数组。如:array=(a b c d)
                    2、双小括号 (( ))
                      ①整数扩展。这种扩展计算是整数型的计算,不支持浮点型。((exp))结构扩展并计算一个算术表达式的值,如果表达式的结果为0,那么返回的退出状态码为1,或者 是"假",而一个非零值的表达式所返回的退出状态码将为0,或者是"true"。若是逻辑判断,表达式exp为真则为1,假则为0。
                      ②只要括号中的运算符、表达式符合C语言运算规则,都可用在$((exp))中,甚至是三目运算符。作不同进位(如二进制、八进制、十六进制)运算时,输出结果全都自动转化成了十进制。如:echo $((16#5f)) 结果为95 (16进位转十进制)
                      ③单纯用 (( )) 也可重定义变量值,比如 a=5; ((a++)) 可将 $a 重定义为6
                      ④常用于算术运算比较,双括号中的变量可以不使用$符号前缀。括号内支持多个表达式用逗号分开。 只要括号中的表达式符合C语言运算规则,比如可以直接使用for((i=0;i<5;i++)), 如果不使用双括号, 则为for i in `seq 0 4`或者for i in {0..4}。再如可以直接使用if (($i<5)), 如果不使用双括号, 则为if [ $i -lt 5 ]。
                二、中括号,方括号[]
                    1、单中括号 []
                      ①bash 的内部命令,[和test是等同的。如果我们不用绝对路径指明,通常我们用的都是bash自带的命令。if/test结构中的左中括号是调用test的命令标识,右中括号是关闭条件判断的。这个命令把它的参数作为比较表达式或者作为文件测试,并且根据比较的结果来返回一个退出状态码。if/test结构中并不是必须右中括号,但是新版的Bash中要求必须这样。
                      ②Test和[]中可用的比较运算符只有==和!=,两者都是用于字符串比较的,不可用于整数比较,整数比较只能使用-eq,-gt这种形式。无论是字符串比较还是整数比较都不支持大于号小于号。如果实在想用,对于字符串比较可以使用转义形式,如果比较"ab"和"bc":[ ab \< bc ],结果为真,也就是返回状态为0。[ ]中的逻辑与和逻辑或使用-a 和-o 表示。
                      ③字符范围。用作正则表达式的一部分,描述一个匹配的字符范围。作为test用途的中括号内不能使用正则。
                      ④在一个array 结构的上下文中,中括号用来引用数组中每个元素的编号。
                    2、双中括号[[ ]]
                      ①[[是 bash 程序语言的关键字。并不是一个命令,[[ ]] 结构比[ ]结构更加通用。在[[和]]之间所有的字符都不会发生文件名扩展或者单词分割,但是会发生参数扩展和命令替换。
                      ②支持字符串的模式匹配,使用=~操作符时甚至支持shell的正则表达式。字符串比较时可以把右边的作为一个模式,而不仅仅是一个字符串,比如[[ hello == hell? ]],结果为真。[[ ]] 中匹配字符串或通配符,不需要引号。
                      ③使用[[ ... ]]条件判断结构,而不是[ ... ],能够防止脚本中的许多逻辑错误。比如,&&、||、<和> 操作符能够正常存在于[[ ]]条件判断结构中,但是如果出现在[ ]结构中的话,会报错。比如可以直接使用if [[ $a != 1 && $a != 2 ]], 如果不适用双括号, 则为if [ $a -ne 1] && [ $a != 2 ]或者if [ $a -ne 1 -a $a != 2 ]。
                      ④bash把双中括号中的表达式看作一个单独的元素,并返回一个退出状态码。
                三、大括号、花括号 {}
                    1、常规用法
                      ①大括号拓展。(通配(globbing))将对大括号中的文件名做扩展。在大括号中,不允许有空白,除非这个空白被引用或转义。第一种:对大括号中的以逗号分割的文件列表进行拓展。如 touch {a,b}.txt 结果为a.txt b.txt。第二种:对大括号中以点点(..)分割的顺序文件列表起拓展作用,如:touch {a..d}.txt 结果为a.txt b.txt c.txt d.txt
                      ②代码块,又被称为内部组,这个结构事实上创建了一个匿名函数 。与小括号中的命令不同,大括号内的命令不会新开一个子shell运行,即脚本余下部分仍可使用括号内变量。括号内的命令间用分号隔开,最后一个也必须有分号。{}的第一个命令和左括号之间必须要有一个空格。
                    2、几种特殊的替换结构
                    ${var:-string},${var:+string},${var:=string},${var:?string}
                      ①${var:-string}和${var:=string}:
                            若变量var为空,则用在命令行中用string来替换${var:-string},否则变量var不为空时,则用变量var的值来替换${var:-string};
                            ${var:=string}的替换规则和${var:-string}是一样的,所不同之处是${var:=string}若var为空时,用string替换${var:=string}的同时,把string赋给变量var: ${var:=string}很常用的一种用法是,判断某个变量是否赋值,没有的话则给它赋上一个默认值。
                      ② ${var:+string}的替换规则和上面的相反,即只有当var不是空的时候才替换成string,若var为空时则不替换或者说是替换成变量 var的值,即空值。(因为变量var此时为空,所以这两种说法是等价的)
                      ③${var:?string}替换规则为:若变量var不为空,则用变量var的值来替换${var:?string};若变量var为空,则把string输出到标准错误中,并从脚本中退出。我们可利用此特性来检查是否设置了变量的值。
                      补充扩展:在上面这五种替换结构中string不一定是常值的,可用另外一个变量的值或是一种命令的输出。
                    3、四种模式匹配替换结构
                    模式匹配记忆方法:
                    # 是去掉左边(在键盘上#在$之左边)
                    % 是去掉右边(在键盘上%在$之右边)
                    #和%中的单一符号是最小匹配,两个相同符号是最大匹配。

                    ${var%pattern},${var%%pattern},${var#pattern},${var##pattern}
                      第一种模式:${variable%pattern},这种模式时,shell在variable中查找,看它是否一给的模式pattern结尾,如果是,就从命令行把variable中的内容去掉右边最短的匹配模式
                      第二种模式: ${variable%%pattern},这种模式时,shell在variable中查找,看它是否一给的模式pattern结尾,如果是,就从命令行把variable中的内容去掉右边最长的匹配模式
                      第三种模式:${variable#pattern} 这种模式时,shell在variable中查找,看它是否一给的模式pattern开始,如果是,就从命令行把variable中的内容去掉左边最短的匹配模式
                      第四种模式: ${variable##pattern} 这种模式时,shell在variable中查找,看它是否一给的模式pattern结尾,如果是,就从命令行把variable中的内容去掉右边最长的匹配模式
                      这四种模式中都不会改变variable的值,其中,只有在pattern中使用了*匹配符号时,%和%%,#和##才有区别。结构中的pattern支持通配符,*表示零个或多个任意字符,?表示仅与一个任意字符匹配,[...]表示匹配中括号里面的字符,[!...]表示不匹配中括号里面的字符。
                    例:
                            # var=testcase 
                            # echo $var 
                            testcase 
                            # echo ${var%s*e} 
                            testca 
                            # echo $var 
                            testcase 
                            # echo ${var%%s*e} 
                            te 
                            # echo ${var#?e} 
                            stcase 
                            # echo ${var##?e} 
                            stcase 
                            # echo ${var##*e}
                            # echo ${var##*s} 
                            e 
                            # echo ${var##test} 
                            case
                    4、字符串提取和替换
                    ${var:num},${var:num1:num2},${var/pattern/pattern},${var//pattern/pattern}
                      第一种模式:${var:num},这种模式时,shell在var中提取第num个字符到末尾的所有字符。若num为正数,从左边0处开始;若num为负数,从右边开始提取字串,但必须使用在冒号后面加空格或一个数字或整个num加上括号,如${var: -2}、${var:1-3}或${var:(-2)}。
                      第二种模式:${var:num1:num2},num1是位置,num2是长度。表示从$var字符串的第$num1个位置开始提取长度为$num2的子串。不能为负数。
                      第三种模式:${var/pattern/pattern}表示将var字符串的第一个匹配的pattern替换为另一个pattern。
                      第四种模式:${var//pattern/pattern}表示将var字符串中的所有能匹配的pattern替换为另一个pattern。
                            [root@centos ~]# var=/home/centos 
                            [root@centos ~]# echo $var 
                            /home/centos
                            [root@centos ~]# echo ${var:5} 
                            /centos
                            [root@centos ~]# echo ${var: -6} 
                            centos 
                            [root@centos ~]# echo ${var:(-6)} 
                            centos 
                            [root@centos ~]# echo ${var:1:4} 
                            home 
                            [root@centos ~]# echo ${var/o/h} 
                            /hhme/centos
                            [root@centos ~]# echo ${var//o/h} 
                            /hhme/cenths
                四、符号$后的括号
                    (1)${a} 变量a的值, 在不引起歧义的情况下可以省略大括号。
                    (2)$(cmd) 命令替换,和`cmd`效果相同,结果为shell命令cmd的输,不过某些Shell版本不支持$()形式的命令替换, 如tcsh。
                    (3)$((expression)) 和`exprexpression`效果相同, 计算数学表达式exp的数值, 其中exp只要符合C语言的运算规则即可, 甚至三目运算符和逻辑表达式都可以计算。
                五、使用
                    1、多条命令执行
                    (1)单小括号,(cmd1;cmd2;cmd3) 新开一个子shell顺序执行命令cmd1,cmd2,cmd3, 各命令之间用分号隔开, 最后一个命令后可以没有分号。
                    (2)单大括号,{ cmd1;cmd2;cmd3;} 在当前shell顺序执行命令cmd1,cmd2,cmd3, 各命令之间用分号隔开, 最后一个命令后必须有分号, 第一条命令和左括号之间必须用空格隔开。
                    对{}和()而言, 括号中的重定向符只影响该条命令, 而括号外的重定向符影响到括号中的所有命令。

                逻辑判断时:字符串判断尽量使用[[]],数字判断尽量使用(())(或[[ -le/-ne ... ]])
                
            ------单双引号嵌套-------
                单引号尽量使用'\''
                
                export addr=127.0.0.1
                echo "'$addr'" 结果为 '127.0.0.1'
                echo '"$addr"' 结果为 "$addr"
                1) 双引号内的单引号功能被关闭,反之亦然。
                2) 双引号内的$功能被保留,单引号内的$功能被关闭。

                echo '"'$addr'"' 结果是 "127.0.0.1"
                echo "'"$addr"'" 结果是 '127.0.0.1'
                echo "'"'$addr'"'" 结果是 '$addr'
                echo "'""$addr""'" 结果是 '127.0.0.1'
                echo "'"'"$addr"'"'" 结果是 '"$addr"'
                系统没那么聪明,他看到前面2个单引号就以为是一对了,"'"会认为是转义后的\'
                
            ---重定向----------
                <<< 就是将后面的内容作为前面命令的标准输入
                << 用于等待输入结束符
                ]cat <<< hello
                hello
                ]cat <<< hello >/tmp/hello
                ]cat /tmp/hello
                hello
                
                ]cat << EEE >/tmp/hello
                > hello
                > body
                > EEE
                ]cat /tmp/hello
                hello
                body

                
                ssh -t 192.168.80.166 -C 'ls'
                    等于
                        ssh -t 192.168.80.166 ls
                    等于
                        ssh -t 192.168.80.166 <<EOF
                            ls
                        EOF
                        
                将日志重定向到标准输出:
                    >/dev/stdout
                
        ------other-------
            ---快捷键
                ctrl + ←/→ 命令行单词切换
                ctrl+w 删除前一个单词
            
            ---文件路径
                --文件完整路径:
                    echo $PWD/`basename xxx.sh`
                    readlink -f $0
                    
                --脚本目录路径:
                    $(dirname `readlink -f $0`)
                    上层路径:
                    tomcat_dir=$(dirname $(dirname $(dirname `readlink -f $0`)))

            --设置命令超时时间
                timeout 3 COMMAND 3秒后该命令超时
                
            -----远程执行脚本加载环境变量
                #!/bin/bash --login
                mem_count=`redis-cli -h $1 -p $2 -a 'password' info 2>/dev/null|grep '^used_memory:'|awk -F: '{print $2}'|tr -d '\r'`    #warnning信息输出到/dev/null
                echo "${mem_count}/1024/1024"|bc #计算

猜你喜欢

转载自blog.csdn.net/weixin_42573277/article/details/114111110