4-linux、hdfs命令

定义：
　　
　　linux：Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的
　　　　　　操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核
　　　　　　心的设计思想，是一个性能稳定的多用户网络操作系统。
　　hdfs：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分
　　　　　 布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适
　　　　　 合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用
———————————————————————————————————————————————————————————————————————————————————————————————————————
*******************************************************linux*******************************************
———————————————————————————————————————————————————————————————————————————————————————————————————————
①命令格式：

    命令  -选项  参数
    单个选项：ls  -l       /us
    多个选项：ls –la  /root

②快捷键：

    ctrl + c（停止当前进程）
    

ctrl + z  挂起当前进程，放后台
    

ctrl + l（清屏，与clear命令作用相同）

    对当前命令行的操作：

    

ctrl + a  行首 
    ctrl + e 行尾  

③基础命令

——————————————————————————————————————————
1、帮助
——————————————————————————————————————————
    man           
    help            
    --help    

    which       cd               //查看命令所在位置
    whereis    cd              //查看命令所在位置
——————————————————————————————————————————
2、路劲切换
——————————————————————————————————————————
    cd ~    //回到当前用户home中
    cd /    //回到根下
    cd -    //回到上一次目录下    
——————————————————————————————————————————
3、目录
——————————————————————————————————————————
    mkdir         //新建目录
    mkdir  -p        //递归新建目录

    touch        //新建文件    

    pwd        //当前目录（绝对路劲）

    ls            //简略显示目录信息，如不加目录，则表示当前目录
    ls -l        //详细显示 <==>ll
    ls -a        //包括隐藏文件    
    ls -h        //包括文件大小

    例子：    touch  ./a.txt  ./b.txt        //新建文件    
        ls  /etc            //显示详细信息
——————————————————————————————————————————
4、复制、粘贴、移动
——————————————————————————————————————————
    cp    
        -r  : 递归处理，复制目录


        -p : 保留文件属性 （原文件的时间不变）
    

        eg:  cp –R   /ect   /root

    mv    
        eg:  mv    /ect   /root    
·
    rm    
        -r  : 删除目录及其所有文件


        -f  : 强制删除
    

        eg:  rm  –rf   /ect  

——————————————————————————————————————————
5、其他命令
——————————————————————————————————————————

    cat    
            -a  : 包括隐藏字符


            -n  : 并查看行号


    head    
            -n  : 查看文件前几行（n为具体的数字）    
            eg  :  head  –20   ./txt  
    tail    
        -n  : 查看文件后几行（n为具体的数字）

    ln    
        ln -s /etc  ./etc_1                //创建文件/etc的软链接etc_1

    ——————————————————————————————————————
    vim/vi
        Unix / Linux上 常用的文本编辑器而且功能非常强大。
        
        a         //进入编辑状态
        esc      //退出

    ——————————————————————————————————————
    tar
           eg: tar -zcvf dir1.tar.gz  dir1           //将目录dir1打包并压缩
           eg: tar -zxvf  dir1.tar.gz -C(大写的)  /root             //解压到指定的/root目录


    ——————————————————————————————————————

    find(文件查找)          
    ——————————————————————————————————————
        -name            //按名称查找    区分大小写
        -iname             //按名称查找    不区分大小写
        —————————————————————————————————
            *：匹配所有


            ？：匹配单个字符


            eg:find  /etc  -name  “init???”
        —————————————————————————————————
         -size              

            eg:find   /etc -size -10  
            eg:find   /etc -size  10 

            //在etc目录下找出小于(大于)100MB的文件
        —————————————————————————————————
        -type

             f 二进制文件  l 软连接文件 d 目录  c 字符文件 

            eg: find /dev -type c
        —————————————————————————————————
    —————————————————————————————————————
    grep(内容查找)
           -c ：输出匹配行的次数（是以行为单位，不是以出现次数为单位）

   
            -i ：忽略大小写，所以大小写视为相同

   
           -n ：显示匹配行及行号

   
           -v ：反向选择，显示不包含匹配文本的所有行。


           eg: grep      “init”/etc/inittab     //显示在inittab文件中，init匹配行
           eg: grep -n “init”/etc/inittab     //显示在inittab文件中，init匹配行及行号
           eg: grep -c“init”/etc/inittab     //显示在inittab文件中，init匹配了多少次    

    ——————————————————————————————————————
    netstat（网络端口、连接信息）

        -a  :    all显示所有连接和监听端口
        -t   :    (tcp)仅显示tcp相关选项
        -u  :    (udp)仅显示udp相关选项
        -n  :    使用数字方式显示地址和端口号
        -p  :    显示socket的PID和进程的名字
        -l   ：（listening） 显示监控中的服务器的socket
    

        eg  :    netstat -nltp               //查看端口信息

        eg  :    netstat -nltp | grep 80         //查看端口80的信息
    ——————————————————————————————————————
    ps（进程信息）

        -a：显示所有用户的进程
        -u：显示用户名和启动时间
        -x：显示没有控制终端的进程
        -e：显示所有进程，包括没有控制终端的进程
        -l：长格式显示    
        -f:   进程的详细信息
                      
        eg  :     ps -ef              //查看所有进程及详细信息（常用）

    Kill

        kill -9 进程号        //（强行关闭） 常用

        kill -1 进程号        //（重启进程）

    ——————————————————————————————————————
    shutdown
        -h:关机   


        -r:重启
    

        shutdown -h  now  立即关机     
        shutdown  -h  20:30   定时关机    
    ——————————————————————————————————————

——————————————————————————————————————————
④配置命令：
——————————————————————————————————————————

    service network restart    //重启网络，配置ip使用
    source  /etc/profile        //刷新环境变量

    vi /etc/hostname        //配置主机名称，配置之后不需要刷新
    vi /etc/hosts        //配置主机映射

    vi /etc/profile        //环境变量

    cd /etc/sysconfig/network    //ip配置目录


    scp -r /opt/app/hadoop s11:/opt/app/                //递归分发

    sudo chown -R hadoop:hadoop /opt/app/zookeeper-3.4.10/    //更改所属

——————————————————————————————————————————
⑤用户管理命令：
——————————————————————————————————————————
    
    useradd        用户名
    
    passwd
         用户名

    userdel         用户名
    userdel    -r  用户名            //删除用户以及home下的文档

    chown      root:root  ./dir     //修改dir的所有者和所属组 
    chown –R root:root  ./dir     //修改dir及其子目录的所有者和所属组 （必须大写R）

    用户权限：u(所属者:4)，g(所属组:2)，o(其他:1)
    
    chmod u+x,o-x a.txt    //给所属者增加执行权限，
                //其他减去执行权限

    chmod 777 a.txt        

———————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
*******************************************************HDFS命令****************************************************************************************************
———————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
1、DFS命令（最好写绝对路劲）
————————————————————————————————————————————————————————————————————    
————————————————————————————————————————————————————————————————————

        [-mkdir [-p] <path> ...]                //创建文件夹
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]        //删除一个文件、非空文件夹，
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]            //递归删除文件及文件夹

         [-put [-f] [-p] [-l] <localsrc> ... <dst>]              //上传文件到HDFS
         [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]      //下载文件到本地
 
         [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]     //从本地拷贝文件到HDFS上
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]   //从HDFS上拷贝文件到本地

        [-moveFromLocal <localsrc> ... <dst>]              //从本地剪切文件到HDFS上
         [-moveToLocal <src> <localdst>]                  //从HDFS上剪切文件到本地

         [-cat [-ignoreCrc] <src> ...]                              //只能查看普通的文件，不能查看二进制的文件
         [-text [-ignoreCrc] <src> ...]                 //text 可以查看所有类型的文件 

          [-df [-h] [<path> ...]]                       //查看HDFS上可用空间
          [-du [-s] [-h] <path> ...]                     //统计文件或者文件夹的大小

          [-chgrp [-R] GROUP PATH...]                //修改权限
          [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]    //修改权限
          [-chown [-R] [OWNER][:[GROUP]] PATH...]        //修改权限
    _________________________________________________________________________________________________________________
    eg:

        hdfs dfs                             //查看所有dfs命令

        hdfs dfs     -help  cat                    //帮助命令，命令参数没有-


        hdfs dfs     -mkdir -p        /input/input2/input3            //创建文件夹
        hdfs dfs     -rm  -r -f        /input/input2/input3            //强制递归删除文件

        hdfs dfs     -put  -p        /root/local2        /            //上传文件夹    
        hdfs dfs     -put  -P        /root/local2/*       /input            //上传文件
        hdfs dfs     -put  -P        /root/1.txt       /1.xml            //上传文件并改名

        hdfs dfs     -get  -p         /input     /root/local2        //下载文件夹    
        hdfs dfs     -get  -p        /input/*    /root/local2        //下载文件

        copyFromLocal                        
        copyToLocal                         
        moveFromLocal 
        moveToLocal 

        hdfs dfs     -cat          /input/1.txt                //查看内容,不能查看二进制文件
        hdfs dfs     -text        /input/1.txt                //查看内容    
    
        hdfs dfs     -df          /input                    //产看可用空间
        hdfs dfs     -du        /input/1.txt                //统计文件或者文件夹的大小

        hdfs dfs     -chown  -R  hadoop:hadoop  /input            //递归修改权限
        hdfs dfs     -chomd -R  777          /input            //递归修改权限


        hdfs dfsadmin -safemode <enter | leave | get | wait>        //设置安全模式，刚开始启动HDFS时，前30s是安全模式，只读

        hdfs dfsadmin -enter                    //进入安全模式
        hdfs dfsadmin -leave                    //离开安全模式

        hdfs dfsadmin -refreshNodes                    //刷新hdfs
        yarn rmadmin -refreshNodes                    //刷新yarn
————————————————————————————————————————————————————————————————————
————————————————————————————————————————————————————————————————————