Commandes quotidiennes d’exploitation et de maintenance Big Data

1、HDFSNameNode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh démarrer namenode
/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh arrêter namenode

administrateur bin/hdfs -DFSHAAdmin -getServiceState n1

2、HDFS DataNode

/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh démarrer le datanode
/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.sh arrêter le datanode

bin/fil rmadmin -getServiceState rm1

3. Gestionnaire de ressources de fil

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh démarrer le gestionnaire de ressources
/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh arrêter le gestionnaire de ressources

4、Yarn NodeManager

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh démarrer nodemanager
/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh arrêter nodemanager

5、Yarn WebAppProxyServer

/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh arrêter le serveur proxy
/usr/local/fqlhadoop/hadoop/sbin/yarn-daemon.sh démarrer le serveur proxy

X, Commandes d'exploitation et de maintenance du fil

yarn application -list
yarn application -queue root.lx_fdw
yarn application -list -queue lx_fdw -appStates ACCEPTED
yarn application -list -queue lx_fdw -appStates ACCEPTED | grep thrift_XXX.hadoop.com_10017

yarn application -kill application_1652347896268_18628697

6、Ruche

服务端启动

Métastore de la ruche 6.1

cd /usr/local/fqlhadoop/hive/
bin/hive --service metastore -p 3316 &
ps -ef | grep 'org.apache.hadoop.hive.metastore.HiveMetaStore' | grep -v grep | awk '{print $2}' | les xargs tuent -9

6.2 service de ruche

bin/hive --service hiveserver2 &

Configuration associée, vim conf/hive-site.xml
hive.server2.thrift.port, hive.server2.thrift.bind.host

客户端连接
Connectez-vous au serveur de métastore Hive spécifié
hive --hiveconf hive.metastore.uris=thrift://XXX.hadoop.com:3316

7、Étincelle

spark-sql --master=yarn --queue lx_etl --driver-memory 1g --driver-java-options '-XX:MetaspaceSize=1g -XX:MaxMetaspaceSize=1g' --num-executors 1  --executor-memory 1g --executor-cores 1   --conf spark.yarn.am.memory=2048m --hiveconf hive.cli.print.header=false 


## Spark HistoryServer
/usr/local/fqlhadoop/spark/sbin/start-history-server.sh

/usr/local/fqlhadoop/spark/sbin/start-history-server.sh hdfs://hacluster/sparklog
/usr/local/fqlhadoop/spark/sbin/stop-history-server.sh hdfs://hacluster/sparklog

进程名称：
org.apache.spark.deploy.history.HistoryServer



## Yarn JobHistoryServer
    /usr/local/fqlhadoop/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

8、HBase

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh arrêter le maître
/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh démarrer le maître

/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh arrêter le serveur de région
/usr/local/fqlhadoop/hbase/bin/hbase-daemon.sh démarrer le serveur de région