、sortコマンド
sortコマンドは、ファイルを指定し、標準出力に結果を書き込み、ファイルパラメータをソートします。
ファイルのパラメータは、複数のファイルを指定した場合、sortコマンドは、これらの文書を接続し、ファイルの並べ替えなどします。
语法：
ソート[-fbMnrtuk] [ファイルまたは標準入力]
オプションとパラメーター：
-f：ケースの違いを無視し、AおよびAは同じに扱われ
-bをフロントスペースは無視
月の名前をソートする、などJAN、DECおよびその他のソート方法がよう：-M
-n：使用純粋な数字をソーティング（デフォルトテキストは辞書ソートされる）
ソートリバース：-R＆LT
-t：セパレータは、デフォルトのタブキー分割する
重複排除：-u
-k：どのようなカラム（カラム1つのデフォルト使用をソート）
例：
| 例 | 例ショー |
|---|---|
| 猫/ etc / passwdファイル|ソート | 昇順に/ etc / passwdファイルにユーザー名 |
| 猫/ etc / passwdファイル|ソート-t「：」-k 3 | 昇順で第3列を使用しての/ etc / passwdファイル |
| 猫/ etc / passwdファイル|ソート-t「：」-k 3N | 数値の昇順で最初の3つのソートを使用しての/ etc / passwdファイル |
| 猫/ etc / passwdファイル|ソート-t「：」-k 3NR | 大きい順に3の数字の順番を使用して、/ etc / passwdファイル |
| 猫/ etc / passwdファイル|ソート-t「：」-k 6.2,6.4 -k 1R | 最初の降順に最初の列に、次いで6の最初の2~4文字を昇順にソートし、および/ etc / passwdファイル、 |
| 猫/ etc / passwdファイル|ソート-t「：」-k 7 -u | 昇順と重複排除で7列での/ etc / passwdファイル |
二、uniqのコマンド
uniqはソートされたファイルの重複を除去します。従ってソートしばしばUNIQ機能を行うために、組み合わせて使用UNIQ、隣接する行を繰り返さなければなりません。
構文：
uniqの[-icu]
オプションとパラメーター：
-iは：ケースを無視
-c：技術的な
-u：ショーは、単一の行（デフォルト引数なし）
例：
| 例 | 例ショー |
|---|---|
| 猫のテストファイル| 並べ替え| UNIQ | TESTFILE重いことになるだろう（ソート最初の重量の前に行かなければなりません） |
| 猫のテストファイル| 並べ替え| uniqの-c | 繰り返しの統計テストファイルのファイル行 |
三、カットコマンド
cutコマンドは、テキストファイルやテキスト列フローからテキストを抽出します。
例：
| 例 | 例ショー |
|---|---|
| トイレ-cテスト| 1 -f '' -dカット | 「は」は、最初の列を取って、区切り文字です |
| $ PATHをエコー| -dカット '：' -f 3,5 | では「：」区切りがあり、最初の3と5を取ります |
| $ PATHをエコー| -dカット '：' 3-5 -f | では「：」区切りは3-5を取られます |
| $ PATHをエコー| -dカット '：' 3-5,7 -f | 「：」セパレータ3-5および列7を取られます |
| $ PATHをエコー| -dカット '：'、3- -f | では「：」区切りがある、との最後の3を取ります |
四、sedコマンド
SEDは良いファイル処理ツール自体は、主に処理の単位で、データラインは、削除、追加、およびその他の特定のジョブを選択し、交換することができるコマンドパイプラインです。
構文：
sedの[-nefri] [-e
パラメータ説明：
-n：静かな（サイレント）モードを使用しました。一般的な用法でSEDは、標準入力からのすべてのコンテンツが画面に出力されます。場合は一緒に-n引数を通じてのみ出力行が処理SED。
-e
動作説明：
：、追加文字列が続く接続されていてもよい、およびこれらの文字列（この次の行）に表示され、新しい行で、
C：置換され、これらの文字列ことができ、バックCストリングに接続されていてもよいです置換N1、N2間の線;
D：削除し、それがああ削除されるので、通常はそれ以降のDパットに接続されていないので、
私は：挿入された私は、文字列、新しい行に表示される文字列がかかる場合があります後ろ（1行に現在の行）;
P：印刷、印刷された情報の選択であろう。Pは一緒に-n sedのパラメータで正常に動作します;
S：交換、新しい文字列に特定の文字列に置き換えられます！通常、これは、アクションが正規表現を使用することができますよ！たとえば/古い/新しい/ gに1,20sそれがあります！
例:(）私たちは、ABというファイルがあると
行を削除するには：
| 例 | 例ショー |
|---|---|
| sedの '1D' テストファイル | ファイルのテストファイルの最初の行を削除します。 |
| sedの '1,3d' テストファイル | 3行目に、ファイルのテストファイルの1行目を削除します。 |
| sedの '$ D' テストファイル | ファイルのテストファイルの最後の行を削除します。 |
| SED 3 '$ D' テストファイル | 最後の行に第三のラインテストファイルのファイルを削除します。 |
| sedの '/テスト/ D' のテストファイル | モードを削除するによると、テストのすべての行が含まれているテストファイルのファイルを削除します |
特定の行を表示
| 例 | 例ショー |
|---|---|
| sedの-n '1P' テストファイル | ディスプレイのライン1 |
| sedの-n '$ pを' テストファイル | 最後の行 |
| sedの-n '1,3p' テストファイル | 3行目に表示ライン1 |
| sedの-n 3 '$ P' テストファイル | 最後の行に3行目を表示 |
クエリモードを使用します
| 例 | 例ショー |
|---|---|
| sedの-n '/ルビー/ P' テストファイル | ルビーのキーワードを含むすべての行を問い合わせます |
| sedの-n '/ \ $ / P' テストファイル | $クエリはすべての行は、あなたが特殊文字の$をエスケープするバックスラッシュ\を使用しなければならないキーワードが含ま |
行を挿入
| 例 | 例ショー |
|---|---|
| sedは「1aはドリンクお茶」テストファイル | 最初の行の文字列の増加した後、「飲む茶」 |
| SED「お茶を飲む1,3a」テストファイル | 行に1行目の文字列「ドリンクお茶」の後に3人の増加 |
| SED -i「$さようなら」テストファイル | テストファイルのファイルの最後の行の挿入「さようなら」 |
| 「1Aドリンクお茶\やコーヒー」テストファイルをセッド | 行後の1行2件の増加、中間マスト改行\ N分割 |
行全体を取り替えます
| 例 | 例ショー |
|---|---|
| sedの「1Cこんにちは」テストファイル | こんにちはの代わりに、1行目 |
| SED「1,3cこんにちは」テストファイル | こんにちはの代わりに、3行目の1行目 |
ラインの一部の交換
構文：
「/新しい文字列/グラムを交換するS /文字列」セッドを（文字列が正規表現に置き換えることができます）
| 例 | 例ショー |
|---|---|
| SEDの/ルビー/鳥/ G 'テストファイル | 鳥の文字列ルビーを交換してください |
| sedの-n '/ルビー/ P' テストファイル| SEDの/ルビー/鳥/ G ' | 鳥の文字列ルビーを交換してください |
| sedの-n '/ルビー/ P' テストファイル| SEDさん/ルビー// G ' | 各列にルビ文字列を削除します |
| sedの-nさん/ ^ 127.0.0.1 /＆localhostの/ 'テストファイル | 127.0.0.1 localhostの後ろに文字列を追加します。 |
| sedの-nさん/（愛）こと/ \ 1RS / 'テストファイル | 愛することができ、グループ化、パケットは、RSを後に交換されます |
五、awkコマンド
awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息。
awk处理过程: 依次对每一行进行处理，然后输出。
awk命令形式:
awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
参数说明：
–F：指定分隔符
-f：调用脚本
-v：定义变量 var=value
’ ’ ：引用代码块
BEGIN 初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
// ：匹配代码块，可以是字符串或正则表达式
{} ：命令代码块，包含一条或多条命令
；：多条命令使用分号分隔
END 结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息。
特殊要点:
| $0 | 表示整个当前行 |
| $1 | 每行第一个字段 |
| NF | 字段数量变量 |
| NR | 每行的记录号，多文件记录递增 |
| FNR | 与NR类似，不过多文件记录不递增，每个文件都从1开始 |
| \t | 制表符 |
| \n | 换行符 |
| FS | BEGIN时定义分隔符 |
| RS | 输入的记录分隔符， 默认为换行符(即文本是按一行一行输入) |
| ~ | 匹配，与==相比不是精确比较 |
| !~ | 不匹配，不精确比较 |
| == | 等于，必须全部相等，精确比较 |
| != | 不等于，精确比较 |
| && | 逻辑与 |
| || | 逻辑或 |
| + | 匹配时表示1个或1个以上 |
| /[0-9][0-9]+/ | 两个或两个以上数字 |
| /[0-9][0-9]*/ | 一个或一个以上数字 |
| FILENAME | 文件名 |
| OFS | 输出字段分隔符， 默认也是空格，可以改为制表符等 |
| ORS | 输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕 |
| -F’[:#/]’ | 定义三个分隔符 冒号（:）、井号（ # ）和斜杠（ /） |
print：是awk打印指定内容的主要命令。
| 命令 | 说明 |
|---|---|
| awk ‘{print}’ /etc/passwd 或 awk ‘{print $0}’ /etc/passwd | 逐行输出/etc/passwd文件的内容 |
| awk '{if($3>30000){print $1" “$2” “$3”}} tomcat.log | 过滤出第四列>30000的行，并只打印2、3、4列 |
| awk ‘{print " "}’ /etc/passwd | 不输出/etc/passwd文件的内容，而是输出相同行数的空行 |
| awk ‘{print “a”}’ /etc/passwd | 不输出/etc/passwd文件的内容，而是输出相同行数的a行，每行就只有一个字母a |
| awk -F":" ‘{print $1}’ /etc/passwd | 只输出第一列 |
| awk -F: ‘{print $1; print $2}’ /etc/passwd | 输出第1列和第2列 |
| awk -F: ‘{print $1,$3,$6}’ OFS="\t" /etc/passwd | 输出1,3,6列，并以制表符作为分隔符 |
-f：指定脚本文件
awk -f script.awk file
BEGIN{
FS=":"
}
{print $1}
说明：效果与awk -F":" '{print $1}'相同,只是分隔符使用FS在代码自身中指定
awk 'BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}' test
结果：I find 4 blank lines.
ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}'
计算文件大小：total size is 17487
-F指定分隔符
$1 是按照指定分隔符分割后的第一个字段，$3指第三个字段。
\t是制表符，一个或多个连续的空格或制表符看做一个定界符，即多个空格看做一个空格。
示例：
| 命令 | 说明 |
|---|---|
| awk -F":" ‘{print $1}’ /etc/passwd | 输出$1 |
| awk -F":" ‘{print $1 $3}’ /etc/passwd | $1与$3相连输出，不分隔 |
| awk -F":" ‘{print $1,$3}’ /etc/passwd | 多了一个逗号，$1与$3使用空格分隔 |
| awk -F":" ‘{print $1 " " $3}’ /etc/passwd | $1与$3之间手动添加空格分隔 |
| awk -F":" ‘{print “Username:” $1 “\t\t Uid:” $3 }’ /etc/passwd | 自定义输出 |
| awk -F: ‘{print NF}’ /etc/passwd | 显示每行有多少字段 |
| awk -F: ‘{print $NF}’ /etc/passwd | 将每行第NF个字段的值打印出来 |
| awk -F: ‘NF==4 {print }’ /etc/passwd | 显示只有4个字段的行 |
| awk -F: ‘NF>2{print $0}’ /etc/passwd | 显示每行字段数量大于2的行 |
| awk ‘{print NR,$0}’ /etc/passwd | 在每行内容前面添加行号 |
| awk -F: ‘{print NR,NF,$NF,"\t",$0}’ /etc/passwd | 依次打印行号，字段数，最后字段值，制表符，每行内容 |
| awk -F: ‘NR==5{print}’ /etc/passwd | 显示第5行 |
| awk -F: ‘NR==5 || NR==6{print}’ /etc/passwd | 显示第5行和第6行 |
| route -n|awk ‘NR!=1{print}’ | 不显示第一行 |
匹配代码块
//：纯字符匹配
!//：纯字符不匹配
~//：字段值匹配
!~//：字段值不匹配
~/a1|a2/字段值匹配a1或a2
示例：
| 命令 | 说明 |
|---|---|
| awk ‘/mysql/’ /etc/passwd | 输出匹配mysql的行 |
| awk ‘/mysql/{print }’ /etc/passwd | 输出匹配mysql的行 |
| awk ‘/mysql/{print $0}’ /etc/passwd | 输出匹配mysql的行 |
| awk ‘!/mysq\l/{print $0}’ /etc/passwd | 输出不匹配mysql的行 |
| awk ‘/mysql|mail/{print}’ /etc/passwd | 输出匹配mysql或mail的行 |
| awk ‘!/mysql|mail/{print}’ /etc/passwd | 输出不匹配mysql和mail的行 |
| awk -F: ‘/mail/,/mysql/{print}’ /etc/passwd | 区间匹配，输出匹配mail和mysql之间的字符串的行 |
| awk ‘/[2][7][7]*/{print $0}’ /etc/passwd | 匹配包含27为数字开头的行，如27，277，2777… |
| awk -F: ‘$1~/mail/{print $1}’ /etc/passwd | $1匹配指定内容才显示 |
| awk -F: ‘{if($1~/mail/) print $1}’ /etc/passwd | 与上面相同 |
| awk -F: ‘$1!~/mail/{print $1}’ /etc/passwd | $1不匹配mail时才显示 |
| awk -F: '$1!~/mail | mysql/{print $1}’ /etc/passwd |
IF语句
必须用在{}中，且比较内容用()扩起来。
示例：
| 命令 | 说明 |
|---|---|
| awk -F: ‘{if($1~/mail/) print $1}’ /etc/passwd | 简写 |
| awk -F: ‘{if($1~/mail/) {print $1}}’ /etc/passwd | 全写 |
| awk -F: ‘{if($1~/mail/) {print $1} else {print $2}}’ /etc/passwd | if…else… |
条件表达式
==：等于
!=：不等于
> ：大于
>= :大于
示例：
| 命令 | 说明 |
|---|---|
| awk -F":" ‘$1==“mysql”{print $3}’ /etc/passwd | 等于 |
| awk -F":" ‘{if($1==“mysql”) print $3}’ /etc/passwd | 同上 |
| awk -F":" ‘$1!=“mysql”{print $3}’ /etc/passwd | 不等于 |
| awk -F":" ‘$3>1000{print $3}’ /etc/passwd | 大于 |
| awk -F":" ‘$3>=100{print $3}’ /etc/passwd | 大于等于 |
| awk -F":" ‘$3<1{print $3}’ /etc/passwd | 小于 |
| awk -F":" ‘$3<=1{print $3}’ /etc/passwd | 小于等于 |
逻辑运算符
&& 和 ||
示例：
| 命令 | 说明 |
|---|---|
| awk -F: ‘$1~/mail/ && $3>8 {print }’ /etc/passwd | 逻辑与，$1匹配mail，并且$3>8 |
| awk -F: ‘{if($1~/mail/ && $3>8) print }’ /etc/passwd | 同上 |
| awk -F: ‘$1~/mail/ || $3>1000 {print }’ /etc/passwd | 逻辑或 |
| awk -F: ‘{if($1~/mail/ || $3>1000) print }’ /etc/passwd | 同上 |
数值运算
示例：
| 命令 | 说明 |
|---|---|
| awk -F: ‘$3 > 100’ /etc/passwd | 输出’$3 > 100的行 |
| awk -F: ‘$3 > 100 || $3 < 5’ /etc/passwd | 输出’$3 > 100或$3 < 5的行 |
| awk -F: ‘$3+$4 > 200’ /etc/passwd | 输出$3+$4 > 200的行 |
| awk -F: ‘/mysql|mail/{print $3+10}’ /etc/passwd | 第三个字段加10打印 |
| awk -F: ‘/mysql/{print $3-$4}’ /etc/passwd | 减法 |
| awk -F: ‘/mysql/{print $3*$4}’ /etc/passwd | 求乘积 |
| awk ‘/MemFree/{print $2/1024}’ /proc/meminfo | 除法 |
| awk ‘/MemFree/{print int($2/1024)}’ /proc/meminfo | 取整 |
输出分隔符OFS
示例：
| 命令 | 说明 |
|---|---|
| awk ‘$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}’ OFS="\t" netstat.txt | |
| awk ‘$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}’ OFS="\t" netstat.txt | 输出字段6匹配WAIT的行，其中输出每行行号，字段4,5,6，并使用制表符分割字段 |
输出处理结果到文件
示例：
| 命令 | 说明 |
|---|---|
| route -n|awk ‘NR!=1{print > “./fs”}’ | 在命令代码块中直接输出 |
| route -n|awk ‘NR!=1{print}’ > ./fs | 使用重定向进行输出 |
格式化输出
netstat -anp\|awk '{printf "%-8s %-8s %-10s\n",$1,$2,$3}'
printf：表示格式输出
%：格式化输出分隔符
-8：长度为8个字符
s：表示字符串类型
打印每行前三个字段，指定第一个字段输出字符串类型(长度为8)，第二个字段输出字符串类型(长度为8)，第三个字段输出字符串类型(长度为10)
netstat -anp|awk '$6=="LISTEN" || NR==1 {printf "%-10s %-10s %-10s \n",$1,$2,$3}'
netstat -anp|awk '$6=="LISTEN" || NR==1 {printf "%-3s %-10s %-10s %-10s \n",NR,$1,$2,$3}'
IF语句
awk -F: ‘{if($3>100) print “large”; else print “small”}’ /etc/passwd
awk -F: ‘BEGIN{A=0;B=0} {if($3>100) {A++; print “large”} else {B++; print “small”}} END{print A,"\t",B}’ /etc/passwd //ID大于100,A加1，否则B加1
awk -F: ‘{if($3<100) next; else print}’ /etc/passwd //小于100跳过，否则显示
awk -F: ‘BEGIN{i=1} {if(i<NF) print NR,NF,i++ }’ /etc/passwd
awk -F: ‘BEGIN{i=1} {if(i<NF) {print NR,NF} i++ }’ /etc/passwd
另一种形式
awk -F: ‘{print ($3>100 ? “yes”:“no”)}’ /etc/passwd
awk -F: ‘{print ($3>100 ? $3":\tyes":$3":\tno")}’ /etc/passwd
while语句
awk -F: 'BEGIN{i=1} {while(i<NF) print NF,$i,i++}' /etc/passwd
结果：
7 root 1
7 x 2
7 0 3
7 0 4
7 root 5
7 /root 6
数组
netstat -anp|awk 'NR!=1{a[$6]++} END{for (i in a) print i,"\t",a[i]}'
netstat -anp|awk 'NR!=1{a[$6]++} END{for (i in a) printf "%-20s %-10s %-5s \n", i,"\t",a[i]}'
结果：
9523 1
9929 1
LISTEN 6
7903 1
3038/cupsd 1
7913 1
10837 1
9833 1
应用1：
awk -F: ‘{print NF}’ helloworld.sh //输出文件每行有多少字段
awk -F: ‘{print $1,$2,$3,$4,$5}’ helloworld.sh //输出前5个字段
awk -F: ‘{print $1,$2,$3,$4,$5}’ OFS=’\t’ helloworld.sh //输出前5个字段并使用制表符分隔输出
awk -F: ‘{print NR,$1,$2,$3,$4,$5}’ OFS=’\t’ helloworld.sh //制表符分隔输出前5个字段，并打印行号
应用2：
awk -F’[:#]’ ‘{print NF}’ helloworld.sh //指定多个分隔符: #，输出每行多少字段
awk -F’[:#]’ ‘{print $1,$2,$3,$4,$5,$6,$7}’ OFS=’\t’ helloworld.sh //制表符分隔输出多字段
应用3：
awk -F’[:#/]’ ‘{print NF}’ helloworld.sh //指定三个分隔符，并输出每行字段数
awk -F’[:#/]’ ‘{print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11,$12}’ helloworld.sh //制表符分隔输出多字段
应用4：
计算/home目录下，普通文件的大小，使用KB作为单位
ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",sum/1024,"KB"}'
计算/home目录下，普通文件的大小，使用KB作为单位，int是取整的意思
ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",int(sum/1024),"KB"}'
应用5：
统计netstat -anp 状态为LISTEN和CONNECT的连接数量分别是多少
netstat -anp|awk '$6~/LISTEN|CONNECTED/{sum[$6]++} END{for (i in sum) printf "%-10s %-6s %-3s \n", i," ",sum[i]}'
应用6：
统计/home目录下不同用户的普通文件的总数是多少？
ls -l|awk 'NR!=1 && !/^d/{sum[$3]++} END{for (i in sum) printf "%-6s %-5s %-3s \n",i," ",sum[i]}'
结果：
mysql 199
root 374
统计/home目录下不同用户的普通文件的大小总size是多少？
ls -l|awk 'NR!=1 && !/^d/{sum[$3]+=$5} END{for (i in sum) printf "%-6s %-5s %-3s %-2s \n",i," ",sum[i]/1024/1024,"MB"}'
应用7：
输出成绩表
awk 'BEGIN{math=0;eng=0;com=0;printf "Lineno. Name No. Math English Computer Total\n";printf "------------------------------------------------------------\n"}{math+=$3; eng+=$4; com+=$5;printf "%-8s %-7s %-7s %-7s %-9s %-10s %-7s \n",NR,$1,$2,$3,$4,$5,$3+$4+$5} END{printf "------------------------------------------------------------\n";printf "%-24s %-7s %-9s %-20s \n","Total:",math,eng,com;printf "%-24s %-7s %-9s %-20s \n","Avg:",math/NR,eng/NR,com/NR}' test0
结果：
cat test0
Marry 2143 78 84 77
Jack 2321 66 78 45
Tom 2122 48 77 71
Mike 2537 87 97 95
Bob 2415 40 57 62
六、wc命令
输出每个指定文件的行数、单词计数和字节数。如果指定了多个文件，则输出所有文件的总计，如果没有指定文件或指定文件为“-”，则从标准输入读取数据。