文件查找和打包压缩

一级标题

文件查找和打包压缩

二级标题

1 文件查找
1.1 locate

  locate 查询系统上预建的文件索引数据库 /var/lib/mlocate/mlocate.db
  索引的构建是在系统较为空闲时自动进行(周期性任务)，执行updatedb可以更新数据库
  索引构建过程需要遍历整个根文件系统，很消耗资源
  工作特点:

  查找速度快
  模糊查找
  非实时查找
  搜索的是文件的全路径，不仅仅是文件名
  可能只搜索用户具备读取和执行权限的目录
  格式：
  
  常用选项
  locate [OPTION]... [PATTERN]...
  -i 不区分大小写的搜索
  -n N 只列举前N个匹配项目
  -r 使用基本正则表达式

  范例：
    [root@centos8 ~]#locate -n 10 -ir '\.CONF$'
    /boot/loader/entries/5b85fc7444b240a992c42ce2a9f65db5-0-rescue.conf
    /boot/loader/entries/5b85fc7444b240a992c42ce2a9f65db5-4.18.0-147.el8.x86_64.conf
    /etc/autofs.conf
    /etc/autofs_ldap_auth.conf
    /etc/dracut.conf
    /etc/fuse.conf
    /etc/host.conf
    /etc/idmapd.conf
    /etc/kdump.conf
    /etc/krb5.conf

1.2 find

find 是实时查找工具，通过遍历指定路径完成文件查找

工作特点：
查找速度略慢
精确查找
实时查找
查找条件丰富
可能只搜索用户具备读取和执行权限的目录


查找路径：指定具体目标路径；默认为当前目录
查找条件：指定的查找标准，可以文件名、大小、类型、权限等标准进行；默认为找出指定路径下的所
有文件
处理动作：对符合条件的文件做操作，默认输出至屏幕

1.2.1 指定搜索目录层级
  
  -maxdepth level 最大搜索目录深度,指定目录下的文件为第1级
  -mindepth level 最小搜索目录深度
  范例:
   find /etc  -maxdepth 2 -mindepth 2

1.2.2 对每个目录先处理目录内的文件，再处理目录本身
  
  
  -depth -d
  范例
  [root@centos8 data]#tree /data/test
  /data/test
  ├── f1.txt
  ├── f2.txt
  └── test2
   └── test3
     ├── f3.txt
     └── f4.txt
  4 directories, 2 files
  [root@centos8 data]#find /data/test
  /data/test
  /data/test/f1.txt
  /data/test/f2.txt
  /data/test/test2
  /data/test/test2/test3
  /data/test/test2/test3/f3.txt
  /data/test/test2/test3/f4.txt
  [root@centos8 data]#find /data/test -depth
  /data/test/f1.txt
  /data/test/f2.txt
  /data/test/test2/test3/f3.txt
  /data/test/test2/test3/f4.txt
  /data/test/test2/test3
  /data/test/test2
  /data/test

 
1.2.3 根据文件名和inode查找
  
  -name "文件名称"：支持使用glob，如：*, ?, [], [^],通配符要加双引号引起来
  -iname "文件名称"：不区分字母大小写
  -inum n 按inode号查找
  -samefile name 相同inode号的文件
  -links n  链接数为n的文件
  -regex “PATTERN”：以PATTERN匹配整个文件路径，而非文件名称

  范例
  find -name snow.png
  find -iname snow.png
  find / -name ".txt"
  find /var –name "log*"
  [root@centos8 data]#find -regex ".*\.txt$"
  ./script40/b.txt
  ./f1.txt


1.2.4 根据属主、属组查找
  
  -user USERNAME：查找属主为指定用户(UID)的文件
  -group GRPNAME: 查找属组为指定组(GID)的文件
  -uid UserID：查找属主为指定的UID号的文件
  -gid GroupID：查找属组为指定的GID号的文件
  -nouser：查找没有属主的文件
  -nogroup：查找没有属组的文件

  
1.2.5 根据文件类型查找
  -type TYPE
  TYPE可以是以下形式：
  f: 普通文件
  d: 目录文件
  l: 符号链接文件
  s：套接字文件
  b: 块设备文件
  c: 字符设备文件
  p: 管道文件


1.2.6 空文件或目录
  -empty

  范例
  find /app -type d -empty

1.2.7 组合条件
  与：-a ，默认多个条件是与关系
  或：-o
  非：-not  !

  范例
  [root@centos8 ~]#find /etc/ -type d -o -type l |wc -l
  307
  [root@centos8 ~]#find /etc/ -type d -o -type l -ls |wc -l
  101
  [root@centos8 ~]#find /etc/ \( -type d -o -type l \)  -ls |wc -l
  307

  德·摩根定律：
  (非 A) 或 (非 B) = 非(A 且 B)
  (非 A) 且 (非 B) = 非(A 或 B)

  示例：
  !A -a !B = !(A -o B)
  !A -o !B = !(A -a B)
  范例：
  find  -user joe  -group joe
  find -user joe -not -group joe
  find -user joe -o -user jane
  find -not \(  -user joe -o -user jane \)
  find / -user joe -o -uid 500

  [root@centos8 data]#find ! \( -type d -a -empty \)| wc -l
  56
  [root@centos8 data]#find ! -type d -o ! -empty |wc -l
  56
  
  [mage@centos8 data]$find !  -user wang  ! -user mage
  .
  ./script40
  ./script40/backup
  ./script40/backup/args.sh
  ./script40/backup/chook_rabbit.sh
  ./script40/backup/disk_check.sh
  ./script40/backup/ping.sh
  ./script40/backup/systeminfo.sh
  ./script40/backup/test_read.sh
  ./script40/backup/test.sh
  ./script40/if_bmi.sh
  ./script40/case_yesorno.sh
  ./script40/case_yesorno2.sh
  ./script40/b.txt
  ./f1.txt
  ./test
  ./test/f1.txt.link
  ./f1.txtlink
  ./test2
  
  [root@centos8 home]#ll
  total 0
  drwx------. 2 mage   mage   62 Jan 16 17:53 mage
  drwx------. 2 wang   wang   62 Jan 16 10:43 wang
  drwx------  2 xiaoming xiaoming 62 Apr  6 09:51 xiaoming
  [root@centos8 home]#find ! \( -user wang -o -user mage \)
  .
  ./xiaoming
  ./xiaoming/.bash_logout
  ./xiaoming/.bash_profile
  ./xiaoming/.bashrc
  [root@centos8 home]#find ! -user wang -a ! -user mage
  .
  ./xiaoming
  ./xiaoming/.bash_logout
  ./xiaoming/.bash_profile
  ./xiaoming/.bashrc

  #找出/tmp目录下，属主不是root，且文件名不以f开头的文件
  find /tmp ( -not -user root -a -not -name 'f*' ) -ls
  find /tmp -not ( -user root -o -name 'f*' ) –ls


1.2.8 排除目录
  范例
  #查找/etc/下，除/etc/sane.d目录的其它所有.conf后缀的文件
  find /etc -path '/etc/sane.d' -a -prune -o -name "*.conf"
  #查找/etc/下，除/etc/sane.d和/etc/fonts两个目录的所有.conf后缀的文件
  find /etc \( -path "/etc/sane.d" -o -path "/etc/fonts" \) -a -prune -o -name
  "*.conf"
  #排除/proc和/sys目录
  find / \( -path "/sys" -o -path "/proc" \) -a -prune -o -type f -a -mmin -1
  

1.2.9 根据文件大小来查找
  
  -size [+|-]#UNIT
  常用单位：k, M, G，c（byte）,注意大小写敏感
  #UNIT: (#-1, #]
  如：6k 表示(5k,6k]
  -#UNIT：[0,#-1]
  如：-6k 表示[0,5k]
  +#UNIT：(#,∞)
  如：+6k 表示(6k,∞)

  范例
  find /  -size +10G

1.2.10 根据时间戳
  以“天”为单位
  -atime [+|-]#
  #: [#,#+1)
  +#: [#+1,∞]
  -#: [0,#)
  -mtime
  -ctime
  以“分钟”为单位
  -amin
  -mmin
  -cmin

1.2.11 根据权限查找
  -perm [/|-]MODE
  MODE: 精确权限匹配
  /MODE：任何一类(u,g,o)对象的权限中只要能一位匹配即可，或关系，+ 从CentOS 7开始淘汰
  -MODE：每一类对象都必须同时拥有指定权限，与关系
  0 表示不关注

  说明：
  find -perm 755 会匹配权限模式恰好是755的文件
  只要当任意人有写权限时，find -perm /222就会匹配
  只有当每个人都有写权限时，find -perm -222才会匹配
  只有当其它人（other）有写权限时，find -perm -002才会匹配


1.2.12 处理动作 
  -print：默认的处理动作，显示至屏幕
  -ls：类似于对查找到的文件执行“ls -l”命令
  -fls file：查找到的所有文件的长格式信息保存至指定文件中，相当于 -ls > file
  -delete：删除查找到的文件，慎用！
  -ok COMMAND {} \; 对查找到的每个文件执行由COMMAND指定的命令，对于每个文件执行命令之前，都会
  交互式要求用户确认
  -exec COMMAND {} \; 对查找到的每个文件执行由COMMAND指定的命令
  {}: 用于引用查找到的文件名称自身

  范例
  #备份配置文件，添加.orig这个扩展名
  find  -name  ".conf"  -exec  cp {} {}.orig \;
  #提示删除存在时间超过３天以上的joe的临时文件
  find /tmp -ctime +3 -user joe -ok rm {} \;
  #在主目录中寻找可被其它用户写入的文件
  find ~ -perm -002  -exec chmod o-w {} \;
  #查找/data下的权限为644，后缀为sh的普通文件，增加执行权限
  find /data –type f -perm 644  -name "*.sh" –exec chmod 755 {} \;

1.3 参数替换 xargs

由于很多命令不支持管道|来传递参数，xargs用于产生某个命令的参数，xargs 可以读入 stdin 的数
据，并且以空格符或回车符将 stdin 的数据分隔成为参数
另外，许多命令不能接受过多参数，命令执行可能会失败，xargs 可以解决
注意：文件名或者是其他意义的名词内含有空格符的情况
find 和 xargs 的组合：

find | xargs COMMAND

范例
#显示10个数字
[root@centos8 ~]#seq 10 | xargs
1 2 3 4 5 6 7 8 9 10

#删除当前目录下的大量文件
ls | xargs  rm

#
find  -name "*.sh" | xargs ls -Sl

[root@centos8 data]#echo {1..10} |xargs
1 2 3 4 5 6 7 8 9 10
[root@centos8 data]#echo {1..10} |xargs -n1
1
2
3
4
5
6
7
8
9
10
[root@centos8 data]#echo {1..10} |xargs -n2
1 2
3 4
5 6
7 8
9 10

#批量创建和删除用户
echo user{1..10} |xargs -n1 useradd
echo user{1..100} | xargs -n1 userdel -r

#这个命令是错误的
find /sbin/ -perm /700 | ls -l   

#查找有特殊权限的文件，并排序
find /bin/ -perm /7000 | xargs ls -Sl 
#此命令和上面有何区别？
find /bin/ -perm -7000 | xargs ls -Sl 

#以字符nul分隔
find -type f -name "*.txt” -print0 | xargs -0 rm

#并发执行多个进程
seq 100 |xargs -i -P10 wget -P /data  http://10.0.0.8/{}.html

#并行下载视频
seq 199 | xargs -i -P3 you-get https://www.bilibili.com/video/BV1Et411E7dx?p={}

二级标题

2 压缩和解压缩

2.1 compress和uncompress

格式
compress Options [file ...]
uncompress file.Z #解压缩

常用选项
-d 解压缩，相当于uncompress
-c 结果输出至标准输出,不删除原文件
-v 显示详情
zcat file.Z 不显式解压缩的前提下查看文本文件内容

范例
zcat file.Z >file

2.2 gzip和gunzip

格式
gzip [OPTION]... FILE ...

常用选项
-k keep, 保留原文件,CentOS 8 新特性
-d 解压缩，相当于gunzip
-c 结果输出至标准输出，保留原文件不改变
-# 指定压缩比，#取值为1-9，值越大压缩比越大

范例
#解压缩
gunzip file.gz 
#不显式解压缩的前提下查看文本文件内容
zcat file.gz

gzip -c messages >messages.gz
gzip -c -d messages.gz > messages
zcat messages.gz > messages
cat messages | gzip > m.gz

2.3 bzip2和bunzip2

格式
bzip2 [OPTION]... FILE ...

常用选项
-k keep, 保留原文件
-d 解压缩
-c 结果输出至标准输出，保留原文件不改变
-# 1-9，压缩比，默认为9

范例
bunzip2 file.bz2 解压缩
bzcat file.bz2 不显式解压缩的前提下查看文本文件内容

2.4 xz和unxz

格式
xz [OPTION]... FILE ...

常用选项
-k keep, 保留原文件
-d 解压缩
-c 结果输出至标准输出，保留原文件不改变
-# 压缩比，取值1-9，默认为6

范例
unxz file.xz 解压缩
xzcat file.xz 不显式解压缩的前提下查看文本文件内容

2.5 zip和unzip

zip 可以实现打包目录和多个文件成一个文件并压缩，但可能会丢失文件属性信息，如：所有者和组信
息，一般建议使用 tar 代替来自于zip 和 unzip 包

范例
#打包并压缩
zip –r /backup/sysconfig.zip /etc/sysconfig/
#不包括目录本身，只打包目录内的文件和子目录
cd /etc/sysconfig; zip -r /root/sysconfig.zip *
#默认解压缩至当前目录
unzip /backup/sysconfig.zip 
#解压缩至指定目录,如果指定目录不存在，会在其父目录（必须事先存在）下自动生成
unzip /backup/sysconfig.zip  -d /tmp/config 
cat /var/log/messages | zip messages  -
#-p 表示管道
unzip -p message.zip  > message

二级标题

3 打包和解包

3.1 tar
tar 即 Tape ARchive 磁带归档，可以对目录和多个文件打包一个文件，并且可以压缩，保留文件属性不丢失，常用于备份功能，推荐使用

格式
tar [OPTION]...

(1) 创建归档，保留权限
tar -cpvf /PATH/FILE.tar FILE...

(2) 追加文件至归档： 注：不支持对压缩文件追加
tar -rf /PATH/FILE.tar FILE...

(3) 查看归档文件中的文件列表
tar -t -f /PATH/FILE.tar

(4) 展开归档
tar xf /PATH/FILE.tar
tar xf /PATH/FILE.tar -C /PATH/

(5) 结合压缩工具实现：归档并压缩
-z 相当于gzip压缩工具
-j 相当于bzip2压缩工具
-J 相当于xz压缩工具

范例
[root@centos8 ~]#tar zcvf etc.tar.gz /etc/
[root@centos8 ~]#tar jcvf etc.tar.bz2 /etc/
[root@centos8 ~]#tar Jcvf etc.tar.xz /etc/
[root@centos8 ~]#ll etc.tar.*
-rw-r--r-- 1 root root 3645926 Dec 20 22:00 etc.tar.bz2
-rw-r--r-- 1 root root 5105347 Dec 20 21:59 etc.tar.gz
-rw-r--r-- 1 root root 3101616 Dec 20 22:00 etc.tar.xz

#只打包目录内的文件，不所括目录本身
[root@centos8 ~]#cd /etc
[root@centos8 etc]#tar zcvf /root/etc.tar.gz *

#利用 tar 进行文件复制
[root@centos8 ~]#tar c /data/ | tar x -C /back
tar: Removing leading `/' from member names

--exclude 排除文件
tar zcvf /root/a.tgz --exclude=/app/host1 --exclude=/app/host2 /app

-T 选项指定输入文件 -X 选项指定包含要排除的文件列表
范例：
tar zcvf mybackup.tgz -T /root/includefilelist -X /root/excludefilelist

3.2 split

split 命令可以分割一个文件为多个文件
范例
#分割大的 tar 文件为多份小文件
split -b Size –d tar-file-name prefix-name
split -b 1M mybackup.tgz mybackup-parts
#切换成的多个小分文件使用数字后缀
split -b 1M –d mybackup.tgz mybackup-parts

将多个切割的小文件合并成一个大文件
cat mybackup-parts* > mybackup.tar.gz

3.3 cpio

cpio 是历史悠久的打包和解包工具，不过目前也已较少使用
cpio命令是通过重定向的方式将文件进行打包备份，还原恢复的工具，它可以解压以“.cpio”或者“.tar”结尾的文件

格式
cpio [选项] > 文件名或者设备名
cpio [选项] < 文件名或者设备名

常用选项
-o  output模式，打包，将标准输入传入的文件名打包后发送到标准输出
-i input模式，解包，对标准输入传入的打包文件名解包到当前目录
-t 预览，查看标准输入传入的打包文件中包含的文件列表
-O filename 输出到指定的归档文件名
-A 向已存在的归档文件中追加文件
-I filename 对指定的归档文件名解压
-F filename 使用指定的文件名替代标准输入或输出
-d 解包生成目录，在cpio还原时，自动的建立目录
-v 显示打包过程中的文件名称

范例
#将etc目录备份
find ./etc -print | cpio -ov > bak.cpio
#将/data内容追加bak.cpio
find /data | cpio -oA -F bak.cpio
#内容预览
cpio –tv < etc.cpio
#解包文件
cpio –idv < etc.cpio