zookeeper:
三个节点上都执行: zkServer.sh start 启动单个节点的zk服务
查看zk进程是否存在:jps ,发现一个进程 QuorumPeerMain
zkServer.sh status 查看该zk服务器是follower还是leader。
hdfs:
start-dfs.sh
stop-dfs.sh
查看hdfs进程是否存在:jps
bin/hdfs zkfc -formatZK 在node01机器上进行zookeeper的初始化,其本质工作是创建对应的zookeeper节点
journalnode:
/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/hadoop-daemon.sh start journalnode 三台机器执行以下命令启动journalNode,用于我们的元数据管理
/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hdfs namenode -initializeSharedEdits -force node01机器上准备初始化journalNode
/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/hadoop-daemon.sh start zkfc 在node01、node02上分别启动zkfc进程
yarn(mr):
start-yarn.sh
stop-yarn.sh
查看yarn进程是否存在:jps
jobhistory:
mr-jobhistory-daemon.sh start historyserver
mr-jobhistory-daemon.sh stop historyserver
查看jobhistory进程是否存在:jps ,
flume:
cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin
启动:flume-ng agent -n a1 -c conf -f conf/wifi.conf -Dflume.root.logger=INFO,console(已经配置flume的环境变量)
停止:以上启动方式是前台启动,可以直接按ctrl+C
hive:
nohup hive --service hiveserver2 &
nohup hive --service metastore &
查看hive进程是否存在:jps 发现多了2个RunJar进程。
impala:
service impala-state-store start | stop | restart
service impala-catalog start | stop | restart
service impala-server start | stop | restart
查看impala进程是否存在:ps -ef | grep impala
hue:
cd /export/servers/hue-3.9.0-cdh5.14.0
build/env/bin/supervisor
如配置了环境变量:则直接执行:supervisor
查看hue进程是否存在:ps -ef | grep hue
oozie:
cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozied.sh start | stop
如配置了环境变量,则直接执行:oozied.sh start | stop
查看oozie进程是否存在:jps 发现多了一个Bootstrap进程。
kafka: (需要三台机器上都执行该命令)
cd /export/servers/kafka_2.11-1.0.0/
启动:nohup bin/kafka-server-start.sh config/server.properties 2>&1 &
停止:bin/kafka-server-stop.sh
查看kafka进程是否存在: jps 发现多了一个Kafka进程。
storm: (需要三台机器上都执行相应的命令)
cd /export/servers/apache-storm-1.1.1
Node01 启动相关服务
启动 nimbus进程: nohup bin/storm nimbus >/dev/null 2>&1 &
启动web UI: nohup bin/storm ui >/dev/null 2>&1 &
启动logViewer: nohup bin/storm logviewer >/dev/null 2>&1 &
启动supervisor: nohup bin/storm supervisor >/dev/null 2>&1 &
Node02启动相关服务
nimbus: nohup bin/storm nimbus >/dev/null 2>&1 &
logviewer: nohup bin/storm logviewer >/dev/null 2>&1 &
supervisor: nohup bin/storm supervisor >/dev/null 2>&1 &
node03启动相关服务
nimbus: nohup bin/storm nimbus >/dev/null 2>&1 &
logviewer: nohup bin/storm logviewer >/dev/null 2>&1 &
supervisor: nohup bin/storm supervisor >/dev/null 2>&1 &
停止:直接kill -9 storm的进程号
启动storm的拓扑任务:
cd /export/servers/apache-storm-1.1.1/
bin/storm jar logMonitor.jar cn.itcast.storm.logMonitor.LogMonitorMain logMonitor
停止storm的拓扑任务: bin/storm kill logMonitor (注意:对应该拓扑任务,有2个进程LogWriter, worker,直接kill -9 这2个进程的进程号,是没用的!)
spark:(需要先启动zk,才可以构建高可用SPARK集群,可以先启动HDFS,以便于整合hdfs)
/export/servers/spark-2.1.3-bin-hadoop2.7/sbin/start-all.sh :启动所有的master和worker。
启动spark-shell:
spark-shell --master local[2]
指定具体的master地址:spark-shell --master spark://node01:7077
另外,还有sqoop,azkaban。
其中sqoop不需要启动服务,用的时候直接执行sqoop export | import就行。