大数据里常用命令

hrm -rf 文件名 删除有内容的目录
tar -zxf hadoop-2.7.7.tar.gz -C …/modules
将文件解压到某目录下
rm -rf /root/.local/share/Trash/files 清空回收站
source 保存(生效)文件
hive里进入mysql数据命令mysql -u root -p

liunx环境变量配置失败,命令无效 nano /etc/profile
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin

hdfs 上传文件命令
hdfs dfs -put /home/bda/a.txt /a.txt
删除文件 hdfs dfs -rm /a1.txt
删除文件夹 hdfs dfs -rmr /a (-rm r)
scp xx.txt b3:/xx/xx.txt 远程推送
scp -r zookeeper-3.4.13/ b3:/opt/modules

hadoop fs -mkdir /input hadoop里新建文件夹
hadoop fs -cat /output/xx.txt 查看文件
查看文件 hadoop fs -ls /
hadoop fs -expunge 清空回收站
hadoop fs -mv xx xx 移动文件 可以重命名(漂亮)
hadoop fs -cp xx xx 复制文件
hadoop fs -get下载

reboot 重启
service network restart 服务重启
service mysqld restart mysql服务重启

mr-jobhistory-daemon.sh start historyserver 启动
查看作业的历史运行情况

kill(-9) 进程号 杀掉进程

firewall防火墙的关闭
systemctl stop firewalld.service 关闭防火墙
systemctl disable firewalld.service 设置开机不启动防火墙(需要先关闭)
使用iptables防火墙服务需要先卸载centos自带的firewall防火墙

修改主机名
hostnamectl set-hostname newhostname
Hive2需要hive元数据库初始化
schematool -dbType mysql -initSchema

查看程序运行进程

  1. ps 命令用于查看当前正在运行的进程。
    grep 是搜索
    例如: ps -ef | grep java
    表示查看所有进程里 CMD 是 java 的进程信息
    ps -aux | grep java
    -aux 显示所有状态
    kill pid 杀死进程
    kill -9 [PID] kill 命令用于强制终止并杀死进程
    netstat -apn | grep hive 找出hive程序运行端口
    netstat -an | grep ‘:22’ 找出运行在指定端口的进程
    netstat -at 显示tcp端口 -lt监听端口

去除hadoop里的安全模式(hbase shell里的list命令失效)
cd hadoop-2.6.0/bin/
./hadoop dfsadmin -safemode leave

删除文件夹实例:rm -rf /var/log/httpd/access
将会删除/var/log/httpd/access目录以及其下所有文件、文件夹
删除文件使用实例:rm -f /var/log/httpd/access.log
将会强制删除/var/log/httpd/access.log这个文件

一般来说, 如果要在一个具体存在的文件中查找, 那么用 grep, 比如
grep “main” test.c
用来搜索 test.c里是否包含字串 main
如果要在搜索一个命令的输出中是否包含某个字符串,那么用 | grep, 比如
ls | grep “main”

猜你喜欢

转载自blog.csdn.net/weixin_42474635/article/details/89450839