Operación de comando BIgData

 Vista

ps -ef | colmena de nombre grep  

 Zookeeper por intervalos

Abrir todo
  
zkstart-all.sh    

Apaga nodo por nodo

parada zkServer.sh

Sincronización de tiempo 

ntpdate ntp4.aliyun.com

Iniciar HDFS

Inicio

start-all.sh 

Cerrar  

stop-all.sh    

Iniciar chispa 

Inicio 

cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/bin

chispa 

Cerrar 

Ctrl + Z

 Inicie Hbase               

cd /export/servers/hbase-1.2.0-cdh5.14.0/bin

Inicio

 start-hbase.sh

Ingrese a la ventana de shell de Hbase   

[root @ node001 conf] # shell de hbase

Deja de cerrar hbase

stop-all.sh 

Cerrar uno por uno

[root @ node001 ~] # cd /export/servers/hbase-1.2.0-cdh5.14.0/bin

[raíz @ nodo001 bin] # stop-hbase.sh 

Modo seguro desactivado 

 hdfs dfsadmin -safemode leave

    
  Inicio de colmena                

Inicie el servicio Hive MetaStore en segundo plano

nohup /export/servers/hive-1.1.0-cdh5.14.0/bin/hive --service metastore 2> & 1 &

Esta es la consulta de la colmena en spark 
scala> spark.sql ("mostrar bases de datos").

 Operación de clúster Kafka 

1. Crear tema
Cree un tema llamado prueba con tres particiones y dos copias

node001 ejecuta el siguiente comando para crear un tema

cd /export/servers/kafka_2.11-1.0.0

bin / kafka-topics.sh --create --zookeeper node001: 2181 - factor de replicación 2 --particiones 3 - prueba de tema

2. Ver comando de tema
Ver temas existentes en kafka

Node001 utiliza el siguiente comando para ver los temas de temas existentes en kafka

cd /export/servers/kafka_2.11-1.0.0

bin / kafka-topics.sh --list --zookeeper node001: 2181, node002: 2181, node003: 2181

3. Datos de producción del
productor Simular productores para producir datos

El servidor node001 ejecuta los siguientes comandos para simular productores para producir datos

cd /export/servers/kafka_2.11-1.0.0

bin / kafka-console-producer.sh --broker-list node001: 9092, node002: 9092, node003: 9092 - prueba de tema

4. Datos de consumo del consumidor
El servidor node002 ejecuta los siguientes comandos para simular datos de consumo del consumidor

cd /export/servers/kafka_2.11-1.0.0

bin / kafka-console-consumer.sh --desde el principio - prueba de tema --zookeeper node001: 2181, node002: 2181, node003: 2181