普通命令：
rm -rf(删除目录)
rm -f(删除文件)
mv 文件 目标文件（移动或重命名）
tar -xf ....tar
tar xvfz ....tgz
rpm -vih ....rpm
unzip .......zip
ipconfig (查看ip)
scp -r /etc/my.cnf [email protected]:/home/ （远程拷贝）
reboot （重启）
sz 文件名 （下载至windows）
rz -E （上传至linux）
cp -ri /... /... （复制文件夹）
:/ （vim搜索）
pwd （当前路径）
cur http://localhost:9200 （发起一个http请求）
curl -XPUT http://cgcloud1:9200/index01 （新增）
groupadd es （创建用户组）
useradd es -g es -p es （用户名 密码）
su es （切换用户）
chown -R es:es elasticsearch-5.5.2/ （给某个应用使用es用户组）
Zookeeper命令： （协调器）
service iptables stop （临时关防火墙）
jps (kill -9 xxxx) （杀进程）
sh zkServer.sh start(status、stop) （起服务器）
sh zkCli.sh start （起客户端）
sh zkCli.sh （进入客户端）
java -cp .:zookeeper-3.4.8.jar:slf4j-api-1.6.1.jar org.apache.zookeeper.server.LogFormatter ./log.500000000001 （java查看日志）
echo stat|nc 10.42.14.86 2181 (查看节点状态）
echo ruok|nc 10.42.14.86 2181 （判断节点存活状态）
echo conf|nc 10.42.14.86 2181 （查看节点配置）
echo kill|nc 10.42.14.86 2181 （关闭节点）
Mysql+Mycat命令：（主从复制读写分离）
quit
vim /etc/my.cnf (配置主从节点）
cd /var//lib/mysql
service mysql start(restart/stop) （启动mysql）
mysqladmin -u root password '123456' （设置mysql登录信息）
mysql （运行mysql）
cp /usr/share/mysql/mysql.server /etc/init.d/mysqld （mysqld随机启动）
select * from user\G; （连接用户竖向显示）
grant all on *.* to root@'%' identified by '123456'; （更改mysql用户权限）
vim /root/.mysql_secret （许可秘钥）
mysqladmin -u root -p password 123456 （改密码）
ElasticSearch命令： 9200
elasticsearch （启动）
grunt server （连接web server）
elasticsearch -d （后台启动）
cur http://localhost:9200 （测试启动）
vim /etc/security/limits.d/90-nproc.conf （修改用户最大可创建线程数）
vm.max_map_count = 655360 （扩大虚拟内存）
sysctl -p (查看是否生效）
cur http://localhost:9200 （发起一个http请求）
curl -XPUT http://cgcloud1:9200/index01 （新增）
curl -XPOST http://cgcloud1:9200/index01 （新增多个）
curl -XGET http://cgcloud1:9200/index01 （获取文档）
DSL: curl -XPUT http://cgcloud1:9200/index01/_settings -d'{"blocks.read":"true"}' （限制读）
curl -XGET http://cgcloud1:9200/index02 （查看具体索引）
curl -XGET http://cgcloud1:9200/index01,haha,index02 （查看多个索引）
curl -XPOST http://cgcloud1:9200/index01/_close （关闭索引）_open （-XDELETE删除索引）
Mycat命令：6680 （负载）
mycat console （运行mycat）
RabbiteMQ命令：5672 （队列）
erl （查看erlang版本）
yum -y install socat （安装socat）
**web管理应用访问端口：15672
**程序访问端口5672
cd /usr/share/doc
rabbitmq-plugins enable rabbitmq_management （启动web应用插件）
cd /usr/lib/rabbitmq/bin
ps -ef|grep rabbit （接上）
./rabbitmq-server start （启动rabbitmq）
select regexp_replace(regexp_replace(info,'[*|&|@|%|#]',''),'[.][.]','.')from r1;
Hadoop命令 50070 9000 （分布式文件存储与分钟级处理）
start-all.sh （启动hadoop）
hadoop fs -put a.txt / （传到根目录）
hadoop dfsadmin -safemode leave （强制退出安全模式）
hadoop namenode -format （格式化）
hdfs oev -i edits_0000000000000000001-0000000000000000001 -o edits.xml （转换为xml文件查看）
hdfs oiv -i edits_0000000000000000001-0000000000000000001 -o edits.xml -p XML （转换为xml文件查看）
hadoop fs -mkdir /hadoopnode01 （创建）
hadoop fs -rm /hadoopnode01 （删除文件）
hadoop fs -rmdir /hadoopnode01 （删除目录）
hadoop fs -rmr /hadoopnode01 （删除非空目录-递归删除）
hadoop fs -put a.txt / （上传）
hadoop fs -getmerge /a demo.txt （将a中文件合并到demo）
hadoop fs -get /a.txt /指定存储命令（下载）
hadoop fs -ls / （查看根目录）
hadoop fs -lrs / （递归查看）
hadoop fs -cat /a.txt （查看a中内容）
hadoop fs -tail /a.txt （查看文件最后1000个字节）
hadoop jar （运行jar包）
vim /etc/profile
Yarn 8088
start-dfs.sh
Flume命令: （数据源、管道、目标数据预处理）
curl -X POST -d '[{"headers":{"a":"a1"},"body":hello http-flume"}]' http://10.42.98.91:8888 （发送http请求）
./flume-ng agent -n a1 -c ../conf -f ../conf/template.conf -Dflume.root.logger=INFO,console （启动flume的conf文件）
Hive命令: （基于hadoop的数据仓库工具，将结构化的数据文件映射为一张数据库表 实现简单的mr统计 将HiveQL语句通过解释器转换为mr作业提交到hadoop）
sh hive （启动hive）
alter table flux add partition(reportTime='2018-12-29') location '/weblog/reportTime=2018-12-29'; （导入hdfs到hive）
select * from flux TABLESAMPLE(1 ROWS); （查询具体数据）
create table dataclear(reporttime string,urlname string,uvid string,ssid string,sscount string,sstime string,cip string) row format delimited fields terminated by '|'; （数据清洗表）
desc flux; （显示表结构）
select count(distinct uvid) from dataclear where reporttime='2018-12-29'; （uvid数）
sh hive -f 03.hive -d reportTime='date %G-%y-%d' （hive语句写进文件再调用）
sh hive -f 03.hive -d reportTime="2018-12-29"
Sqoop命令: （导入导出工具）
sh sqoop export --connect jdbc:mysql://cgcloud1:3306/test --username root --password 123456 --export-dir '/user/hive/warehouse/park01.db/tb1' --table tb1 -m 1 --fields-terminated-by ' '
Hbase命令: 60010 （非结构化数据存储的数据库）
sh start-hbase.sh
sh hbase shell
list
truncate 'tb1' （清空表）
Phoenix命令 （类sql工具）
./sqlline.py cgcloud1,cgcloud2,cgcloud3:2181 （启动phoenix）
Storm命令 8080 （数据流毫秒级实时处理）
./storm nimbus >/dev/null 2>&1 & （后台启动主节点）
./storm supervisor >/dev/null 2>&1 & （工作节点）
./storm ui >/dev/null 2>&1 & （webUi进程 ）
./storm jar wordcount.jar cn.word.WordCountTopology
Kafka命令：（传输数据-消息队列）
sh kafka-server-start.sh ../config/server.properties （启动kafka）
sh kafka-topics.sh --create --zookeeper cgcloud1:2181 --replication-factor 3 --partitions 1 --topic frbook （创建topic-副本数-分区数）
sh kafka-topics.sh --list --zookeeper cgcloud1:2181 （所有topic）
sh kafka-console-producer.sh --broker-list cgcloud1:9092,cgcloud2:9092,cgcloud3:9092 --topic enbook （启动producer）
sh kafka-console-consumer.sh --zookeeper cgcloud1:2181 --topic enbook --from-beginning （启动consumer）
Spark命令 4040 (sparkStreaming 秒级2.0之后毫秒级，不能达到一条一条记录的精细化处理，还是以batch为单位)
sh spark-shell --master=local （启动）
val rdd2=sc.parallelize(a2,3) （分区操作）
val rdd3=sc.makeRDD(Array(1,2,3,4),2) （分区创建）
rdd2.partitions.size （分区个数）
rdd2.glom.collect （分区信息）
r2.collect （输出打印）
union （合并）
intersection （相同）
集群：
进入sbin start-all.sh
sh spark-shell --master spark://cgcloud1:7077