grep
格式:
grep [OPTIONS] PATTERN [FILE...]
grep [OPTIONS] [-e PATTERN] [FILE...]
参数:
-c --count #计算符合样式的列数
-l --file-with-matches #列出文件内容符合指定的样式的文件名称。
-v --revert-match #显示不包含匹配文本的所有行。
-i --ignore-case #忽略字符大小写的差别。
-o # 只显示匹配到的关键字
-n # 现实行号
-E 使用正则表达式
初识正则表达式
^ : 匹配开头
$ : 匹配结尾
[] : 范围匹配
[a-z] : 匹配有小写字母
[A-Z] : 匹配所有大写字母
[0-9] : 匹配所有数字
. : 匹配单个字符
* : 表示*前面的内容出现0次或多次
+ : 表示+前面的内容出现1次或多次
? : 表示?前面的内容出现0次或1次
cat a.txt |grep hat$ # 匹配以hat结尾的行
cat a.txt |grep ^hat # 匹配以hat开头的行
cat a.txt | grep -E "[0-9]*" # 匹配有0到多个数字的行
cat a.txt | grep -E "[0-9]+" # 匹配有至少有1个数字的行
cat a.txt | grep -E "[0-9]?" # 匹配有0到1个数字的行
sed : 流编辑器,一次处理一行内容
sed [-nefr] [动作] [文件]
选项与参数:
-n :使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来
-e :直接在命令列模式上进行 sed 的动作编辑
-f :直接将 sed 的动作写在一个文件内, -f filename 则可以运行 filename 内的 sed 动作
-r :sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i :直接修改读取的文件内容,而不是输出到终端。
动作说明: [n1[,n2]] 动作:
n1, n2 :不一定存在,一般代表选择进行动作的行数,比如,如果我的动作是需要在 10 到 20 行之间进行的,则10,20[动作行为]
动作:
#a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)
#c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
#d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
sed "3d" file # 删除第三行
sed "1,3d" # 删除前三行
sed "1d;3d;5d" # 删除1、3、5行
sed "/^$/d" #删除空行
sed "/abc/d" #删除所有含有abc的行
sed "/abc/,/def/d" #删除abc 和 def 之间的行,包括其自身
sed "1,/def/d" #删除第一行到 def 之间的行,包括其自身
sed "/abc/,+3d " # 删除含有abc的行之后,在删除3行
sed "/abc/,~3d" #从含有abc的行开始,共删除3行
sed "1~2d" # 从第1行开始,每2行删除一行, 删除奇数行
sed "2~2d" # 从第2行开始,每2行删除一行, 删除奇数行
sed "$d" # 删除最后一行
sed "/dd\|cc/d" 删除有dd或者cc的行
#i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
#p :列印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行
sed -n "3p" file # 显示第三行
sed -n "1,3p" # 显示前三行
sed -n "2,+3p" # 显示第二行,及后面的三行
sed -n "$p" # 显示最后一行
sed -n "1p;3p;5p" # 只显示文件1、3、5行
sed -n "$=" # 显示文件行数
#s :替换,可以直接进行取代的工作。通常这个 s 的动作可以搭配正规表示法,例如 1,20s/old/new/g
's/old/new/g'
sed "s/\(all\)/bb/"
sed -r "s/(all)/bb/"
awk : 一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。
# 命令行调用方式
awk [-F field-separator] 'commands' input-file(s)
# commands 是真正awk命令,[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。 在awk中,文件的每一行中,由域分隔符分开的每一项称为一个域。通常,在不指名-F域分隔符的情况下,默认的域分隔符是空格。
# awk工作流程:
# 读入有'\n'换行符分割的一条记录,然后将记录按指定的域分隔符划分域,填充域,$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户,$3表示登录用户ip,以此类推。
cat /etc/passwd |awk -F ':' '{print $1}'
cat /etc/passwd |awk -F ':' '{print $1"\t"$7}'
awk 常用内置变量
ARGC 命令行参数个数
ARGV 命令行参数排列, ARGV[0] ARGV[1]
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符,等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
# 统计/etc/passwd:文件名,每行的行号,每行的列数,对应的完整行内容:
#awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
# 使用printf替代print,可以让代码更加简洁,易读
awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd
vi/vim : 强大的编辑器
进入vi的命令
vi filename :打开或新建文件,并将光标置于第一行首
vi +n filename :打开文件,并将光标置于第n行首
vi + filename :打开文件,并将光标置于最后一行首
vi +/pattern filename:打开文件,并将光标置于第一个与pattern匹配的串处
vi -r filename :在上次正用vi编辑时发生系统崩溃,恢复filename
vi filename….filename :打开多个文件,依次进行编辑
移动光标类命令
h :光标左移一个字符
l :光标右移一个字符
space:光标右移一个字符
Backspace:光标左移一个字符
k或Ctrl+p:光标上移一行
j或Ctrl+n :光标下移一行
Enter :光标下移一行
w或W :光标右移一个字至字首
b或B :光标左移一个字至字首
e或E :光标右移一个字至字尾
) :光标移至句尾
( :光标移至句首
}:光标移至段落开头
{:光标移至段落结尾
nG:光标移至第n行首
n+:光标下移n行
n-:光标上移n行
n:光标移至第n行尾H:光标移至屏幕顶行M:光标移至屏幕中间行L:光标移至屏幕最后行0:(注意是数字零)光标移至当前行首:光标移至当前行尾
屏幕翻滚类命令
Ctrl+u:向文件首翻半屏
Ctrl+d:向文件尾翻半屏
Ctrl+f:向文件尾翻一屏
Ctrl+b;向文件首翻一屏
nz:将第n行滚至屏幕顶部,不指定n时将当前行滚至屏幕顶部。
插入文本类命令
i :在光标前
I :在当前行首
a:光标后
A:在当前行尾
o:在当前行之下新开一行
O:在当前行之上新开一行
r:替换当前字符
R:替换当前字符及其后的字符,直至按ESC键
s:从当前光标位置处开始,以输入的文本替代指定数目的字符
S:删除指定数目的行,并以所输入文本代替之
ncw或nCW:修改指定数目的字
nCC:修改指定数目的行
删除命令
ndw或ndW:删除光标处开始及其后的n-1个字
do:删至行首
d:删至行尾ndd:删除当前行及其后n−1行x或X:删除一个字符,x删除光标后的,而X删除光标前的Ctrl+u:删除输入方式下所输入的文本搜索及替换命令/pattern:从光标开始处向文件尾搜索pattern?pattern:从光标开始处向文件首搜索patternn:在同一方向重复上一次搜索命令N:在反方向上重复上一次搜索命令:s/p1/p2/g:将当前行中所有p1均用p2替代:n1,n2s/p1/p2/g:将第n1至n2行中所有p1均用p2替代:g/p1/s//p2/g:将文件中所有p1均用p2替换选项设置all:列出所有选项设置情况term:设置终端类型ignorance:在搜索中忽略大小写list:显示制表位(Ctrl+I)和行尾标志()
number:显示行号
report:显示由面向行的命令修改过的数目
terse:显示简短的警告信息
warn:在转到别的文件时若没保存当前文件则显示NO write信息
nomagic:允许在搜索模式中,使用前面不带“\”的特殊字符
nowrapscan:禁止vi在搜索到达文件两端时,又从另一端开始
mesg:允许vi显示其他用户用write写到自己终端上的信息
最后行方式命令
:n1,n2 co n3:将n1行到n2行之间的内容拷贝到第n3行下
:n1,n2 m n3:将n1行到n2行之间的内容移至到第n3行下
:n1,n2 d :将n1行到n2行之间的内容删除
:w :保存当前文件
:e filename:打开文件filename进行编辑
:x:保存当前文件并退出
:q:退出vi
:q!:不保存文件并退出vi
:!command:执行shell命令command
:n1,n2 w!command:将文件中n1行至n2行的内容作为command的输入并执行之,若不指定n1,n2,则表示将整个文件内容作为command的输入
:r!command:将命令command的输出结果放到当前行
寄存器操作
“?nyy:将当前行及其下n行的内容保存到寄存器?中,其中?为一个字母,n为一个数字
“?nyw:将当前行及其下n个字保存到寄存器?中,其中?为一个字母,n为一个数字
“?nyl:将当前行及其下n个字符保存到寄存器?中,其中?为一个字母,n为一个数字
“?p:取出寄存器?中的内容并将其放到光标位置处。这里?可以是一个字母,也可以是一个数字
ndd:将当前行及其下共n行文本删除,并将所删内容放到1号删除寄存器中。
一、插入文本
i 在当前字符前插入文本
I 在行首插入文本
a 在当前字符后添加文本
A 在行末添加文本
o 在当前行后面插入一空行
O 在当前行前面插入一空行
R 以改写方式输入文本
二、移动光标
j或下箭头 向下移动一行
k或上箭头 向上移动一行
h或左箭头 左移一个字符
l或右箭头 右移一个字符
w 右移一个词
W 右移一个以空格分隔的词
b 左移一个词
B 左移一个以空格分隔的词
0 移到行首
Ctrl-F 向前翻页
Ctrl-B 向后翻页
nG 到第n行
G 到最后一行
三、替换文本
$ 到行尾
( 到句子的开头
) 到句子的末尾
{ 到段落的开头
} 到段落的末尾
四、删除文本
r 替换一个字符
c 修改文本直到按下Esc健
cw 修改下一个词
cnw 修改接下来的n个词
五、文本编辑
yy 将一行文本移到缺省缓冲区中
yn 将下一个词移到缺省缓冲区中
ynw 将后面的n个词移到缺省缓冲区中
p 如果缺省缓冲区中包含一行文本,则在当前
行后面插入一个空行井将缺省缓冲区中的声
容粘贴到这一行中;如果缺省缓冲区中包含
多个词,把这些词粘贴到光标的右边.
P 如果缺省缓冲区中包含一行文本,则正当前
行前面插入一个空行井将缺省缓冲区中的内
容粘贴到这一行中;如果缺省缓冲区中包含
多个词,把这些词粘贴到光标的左边
六、保存退出
zz 保存并退出
:w filename 写入文件
:W 写入文件
:x 保存(如果当前文件修改过)并退出
:q! 不保存文件,直接退出
:q 退出vi
vi编辑器的启动与退出
直接进入编辑环境
$ vi
进入编辑环境并打开(新建)文件
$ vi myfile
退出vi编辑环境
输入末行命令放弃对文件的修改,并退出编辑器
:q!
保存文件
保存对vi编辑器中已打开文件的修改
:w
另存为文件
将vi编辑器中的内容另存为指定文件名
:w myfile
退出vi编辑器的多种方法
未修改退出
没有对vi编辑器中打开的文件进行修改,或已对修改进行了保存,直接退出vi编辑器
:q
对vi编辑器中的文件进行保存并退出vi编辑器
:wq
不保存退出
放弃对文件内容的修改,并退出vi编辑器
:q!
光标的移动和翻页操作
h向左移动光标
l向右移动光标
k向上移动光标
j向下移动光标
翻页Ctrl + f向前翻整页
Ctrl + b向后翻整页
Ctrl + u向前翻半页
Ctrl + d向后翻半页
行内快速跳转
^将光标快速跳转到本行的行首字符
$将光标快速跳转到本行的行尾字符
w将光标快速跳转到当前光标所在位置的后一个单词的首字母
b将光标快速跳转到当前光标所在位置的前一个单词的首字母
e将光标快速跳转到当前光标所在位置的后一个单词的尾字母
文件内行间快速跳转
命令功能
:set nu 在编辑器中显示行号
:set nonu 取消编辑器中的行号显示
1G跳转到文件的首行
G跳转到文件的末尾行
G跳转到文件中的第#行
进入输入模式
i在当前光标处进入插入状态
a在当前光标后进入插入状态
A将光标移动到当前行的行末,并进入插入状态
o在当前行的下面插入新行,光标移动到新行的行首,进入插入状态
O在当前行的上面插入新行,光标移动到新行的行首,进入插入状态
cw删除当前光标到所在单词尾部的字符,并进入插入状态
c$删除当前光标到行尾的字符,并进入插入状态
c^命令删除当前光标之前(不包括光标上的字符)到行首的字符,并进入插入状态
输入模式的编辑键操作
方向键进行上下左右方向的光标移动
Home快速定位光标到行首
End快速定位光标到行尾
PageUp进行文本的向上翻页
PageDown进行文本的向下翻页
Backspace删除光标左侧的字符
Del删除光标位置的字符
删除操作
x删除光标处的单个字符
dd删除光标所在行
dw删除当前字符到单词尾(包括空格)的所有字符
de删除当前字符到单词尾(不包括单词尾部的空格)的所有字符
d$删除当前字符到行尾的所有字符
d^删除当前字符到行首的所有字符
J删除光标所在行行尾的换行符,相当于合并当前行和下一行的内容
替换操作
:s/old/new 将当前行中查找到的第一个字符“old” 串替换为“new”
:s/old/new/g 将当前行中查找到的所有字符串“old” 替换为“new”
:#,#s/old/new/g 在行号“#,#”范围内替换所有的字符串“old”为“new”
:%s/old/new/g 在整个文件范围内替换所有的字符串“old”为“new”
:s/old/new/c 在替换命令末尾加入c命令,将对每个替换动作提示用户进行确认
撤消操作
u取消最近一次的操作,并恢复操作结果
可以多次使用u命令恢复已进行的多步操作
U取消对当前行进行的所有操作
Ctrl + r对使用u命令撤销的操作进行恢复
复制与粘贴操作
yy复制当前行整行的内容到vi缓冲区
yw复制当前光标到单词尾字符的内容到vi缓冲区
y$复制当前光标到行尾的内容到vi缓冲区
y^复制当前光标到行首的内容到vi缓冲区
p读取vi缓冲区中的内容,并粘贴到光标当前的位置(不覆盖文件已有的内容)
字符串查找操作
/word从上而下在文件中查找字符串“word”
?word 从下而上在文件中查找字符串“word”
n定位下一个匹配的被查找字符串
N定位上一个匹配的被查找字符串
快捷键
ctrl-a : 把光标移动到命令行最开始的地方。
ctrl-e : 把光标移动到命令行末尾。
ctrl-u : 清除命令行中光标所处位置之前的所有字符。
ctrl-k : 清除从提示符所在位置到行末尾之间的字符
ctrl-w : 清除左边的字段
ctrl-y : 将会贴上被ctrl-u 或者 ctrl-k 或者 ctrl-w清除的部分。
ctrl-r : 将自动在命令历史缓存中增量搜索后面入的字符。
tab : 命令行自动补全-自动补全当前的命令行。如果启用自动补全脚本命令参数和选项也可以自动补齐。
ctrl-l : 清屏