Operação do comando BIgData

 Ver

colmeia ps -ef | grep name  

 Zookeeper ligado e desligado

Abra todo o
  
zkstart-all.sh    

Encerrar nó por nó

zkServer.sh stop

Sincronização de tempo 

ntpdate ntp4.aliyun.com

Iniciar HDFS

Iniciar

start-all.sh 

Fechar  

stop-all.sh    

Iniciar Spark 

Iniciar 

cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/bin

faísca 

Fechar 

ctrl + z

 Iniciar Hbase               

cd /export/servers/hbase-1.2.0-cdh5.14.0/bin

Iniciar

 start-hbase.sh

Entrar na janela do shell Hbase   

[root @ node001 conf] # shell hbase

Parar de fechar o hbase

stop-all.sh 

Feche um por um

[root @ node001 ~] # cd /export/servers/hbase-1.2.0-cdh5.14.0/bin

[bin root @ node001] # stop-hbase.sh 

Modo de segurança desativado 

 hdfs dfsadmin -safemode leave

    
  Inicialização do Hive                

Inicie o serviço Hive MetaStore em segundo plano

nohup /export/servers/hive-1.1.0-cdh5.14.0/bin/hive --service metastore 2> & 1 e

Esta é a consulta da seção no spark 
scala> spark.sql ("show database").

 Operação de cluster Kafka 

1. Criar tópico
Crie um tópico chamado teste com três partições e duas cópias

node001 execute o seguinte comando para criar o tópico

cd /export/servers/kafka_2.11-1.0.0

bin / kafka-topics.sh --create --zookeeper node001: 2181 --replication-factor 2 --partitions 3 --topic test

2. Comando Exibir tópico
Exibir tópicos existentes no kafka

O Node001 usa o seguinte comando para visualizar os tópicos do tópico existentes no kafka

cd /export/servers/kafka_2.11-1.0.0

bin / kafka-topics.sh --list --zookeeper node001: 2181, node002: 2181, node003: 2181

3. Dados de produção do
produtor Simule produtores para produzir dados

O servidor node001 executa os seguintes comandos para simular produtores para produzir dados

cd /export/servers/kafka_2.11-1.0.0

bin / kafka-console-producer.sh --broker-list node001: 9092, node002: 9092, node003: 9092 --topic test

4.
Servidor node002 de dados de consumo do consumidor executa os seguintes comandos para simular dados de consumo do consumidor

cd /export/servers/kafka_2.11-1.0.0

bin / kafka-console-consumer.sh --ofrom-begin --topic test --zookeeper node001: 2181, node002: 2181, node003: 2181