查看
ps -ef | grep 名称 hive
Zookeeper 开启与关闭
全部 开启
zkstart-all.sh逐个节点关闭
zkServer.sh stop
时间同步 联网
ntpdate ntp4.aliyun.com
启动 HDFS
启动
start-all.sh
关闭
stop-all.sh
启动 Spark
启动
cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/bin
spark-shell
关闭
ctrl + z
启动 Hbase
cd /export/servers/hbase-1.2.0-cdh5.14.0/bin
启动
start-hbase.sh
进入 Hbase shell 窗口
[root@node001 conf]# hbase shell
停止 关闭 hbase
stop-all.sh
逐个 关闭
[root@node001 ~]# cd /export/servers/hbase-1.2.0-cdh5.14.0/bin
[root@node001 bin]# stop-hbase.sh
安全模式 关闭
hdfs dfsadmin -safemode leave
Hive 启动
后台启动 Hive MetaStore服务
nohup /export/servers/hive-1.1.0-cdh5.14.0/bin/hive --service metastore 2>&1 &
这是 spark 中 进行 hive 查询
scala> spark.sql("show databases").show
Kafka集群操作
1、创建topic
创建一个名字为test的主题， 有三个分区，有两个副本node001执行以下命令来创建topic
cd /export/servers/kafka_2.11-1.0.0
bin/kafka-topics.sh --create --zookeeper node001:2181 --replication-factor 2 --partitions 3 --topic test
2、查看主题命令
查看kafka当中存在的主题node001使用以下命令来查看kafka当中存在的topic主题
cd /export/servers/kafka_2.11-1.0.0
bin/kafka-topics.sh --list --zookeeper node001:2181,node002:2181,node003:2181
3、生产者生产数据
模拟生产者来生产数据node001服务器执行以下命令来模拟生产者进行生产数据
cd /export/servers/kafka_2.11-1.0.0
bin/kafka-console-producer.sh --broker-list node001:9092,node002:9092,node003:9092 --topic test
4、消费者消费数据
node002服务器执行以下命令来模拟消费者进行消费数据cd /export/servers/kafka_2.11-1.0.0
bin/ kafka-console-consumer.sh --from-beginning --topic test --zookeeper node001:2181,node002:2181,node003:2181
