instalação do software de máquina virtual, configure o ambiente
1, wget: comando não encontrado
[Root @ localhost ~] # yum -y instalar wget
instalação está completa.
A premissa dos métodos acima usando seu sistema Linux já está conectado a redes externas, você pode executar ping a home page Baidu, se o passe é conectado a redes externas, não é, então nós iria para abrir o link de rede (clique no lote Baidu), após ligações abertura web, reinicie o sistema linux para que ele possa realmente fora da rede, porque wget é baixado via a rede externa, e depois executar yum install wget, de modo que você pode.
2, download online instalação do JDK
命令:
wget --no-check-certificado --no-cookies --header "Cookie: oraclelicense = aceitar-SecureBackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11 /d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm
参考地址:
https://www.cnblogs.com/justuntil/p/11665540.html
3, criar um diretório
Mkdir /data1/ehserver/env/kafka_2.11-2.2.0/logs/kafka-logs-1 -pv
descompressão:
o alcatrão-zxf kafka_2.11-2.0.0.tgz -C / DATAl / ehserver / env
4, ver a máquina virtual existente na versão JDK:
Digite o comando: rpm -qa | grep jdk
5, o download ZK instalação
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0.tar.gz
wget http://mirror.bit.edu.cn/apache/zookeeper /zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
Referência Endereço:
https://www.cnblogs.com/expiator/p/9853378.html
6, início zk não consegue encontrar ou não pode carregar a classe principal org.apache.zookeeper.ZooKeeperMain
https://www.cnblogs.com/zhoading/p/11593972.html
7, Anso kafka
instalação de referência Parte kafka
8, demonstração de teste
创建一个topic：
对于linux或者macos操作系统，执行kafka的shell文件
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
对于windows操作系统用户，请执行对应的bin/windows目录下的bat文件
bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
启动producer：
对于linux或者macos操作系统，执行kafka的shell文件
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
对于windows操作系统，执行kafka的bat文件
bin/windows/kafka-console-producer.bat --broker-list localhost:9092 --topic test
启动consumer：
对于linux或者macos操作系统，执行kafka的shell命令
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
对于windows操作系统，执行kafka的bat命令
bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test9, anormal:
ERRO Erro ao enviar mensagem para teste tópico com chave: null, o valor: 14 bytes com erro: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.CorruptRecordException: Esta mensagem tem falhou a sua soma de verificação CRC, excede o tamanho válido, tem uma chave nula para um tópico compactado, ou que seja corrupto.
O motivo: kafka gerada pela necessidade de criar um valor-chave
Iniciar produtor alterada como: bin / kafka-console-producer.sh --broker-list localhost: 9092 teste --topic \ - propriedade parse.key = true \ - propriedade key.separator =,
Enviar o formato: chave, valor
para que o consumidor final pode receber o valor.
10, instale Redis
wget http://download.redis.io/releases/redis-5.0.5.tar.gz
Referências:
https://blog.csdn.net/slss01/article/details/88920845
https://blog.csdn.net/weixin_44899258/article/details/93976868
Iniciar: ./bin/redis-server /data1/ehserver/env/redis-4.0.8/etc/redis.conf
11, -bash: mkde: comando não encontrado
A razão é porque gcc não está instalado
Solução:
yum -y install gcc-c ++
12, redis começar a saída do log
https://www.cnblogs.com/hzb462606/p/9117193.html
logfile "/data1/ehserver/env/redis-4.0.8/logs/nohup.out"
/data1/ehserver/env/redis-4.0.8/bin/redis-server
/data1/ehserver/env/redis-4.0.8/etc/redis.conf
10, tomcat
wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.8/bin/apache-tomcat-9.0.8.tar.gz
wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-7/v7.0.100/bin/apache-tomcat-7.0.100.tar.gz
# Estivador prazo -d -p 58080: 8080-v / root / webapps /: / opt / tomcat / webapps / --name mytomcat_1 mytomcat: 1,0 /root/run.sh
11, kafka perfil descrição (server.properties)
(ouvintes não são as mesmas e cada nó broker.id) os server.properties
#是否允许删除topic，默认false不能手动删除
delete.topic.enable=true
#当前机器在集群中的唯一标识，和zookeeper的myid性质一样
broker.id=0
#当前kafka服务侦听的地址和端口，端口默认是9092
listeners = PLAINTEXT://192.168.100.21:9092
#这个是borker进行网络处理的线程数
num.network.threads=3
#这个是borker进行I/O处理的线程数
num.io.threads=8
#发送缓冲区buffer大小，数据不是一下子就发送的，先会存储到缓冲区到达一定的大小后在发送，能提高性能
socket.send.buffer.bytes=102400
#kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
socket.receive.buffer.bytes=102400
#这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
socket.request.max.bytes=104857600
#消息日志存放的路径
log.dirs=/opt/module/kafka_2.11-1.1.0/logs
#默认的分区数，一个topic默认1个分区数
num.partitions=1
#每个数据目录用来日志恢复的线程数目
num.recovery.threads.per.data.dir=1
#默认消息的最大持久化时间，168小时，7天
log.retention.hours=168
#这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
log.segment.bytes=1073741824
#每隔300000毫秒去检查上面配置的log失效时间
log.retention.check.interval.ms=300000
#是否启用log压缩，一般不用启用，启用的话可以提高性能
log.cleaner.enable=false
#设置zookeeper的连接端口
zookeeper.connect=node21:2181,node22:2181,node23:2181
#设置zookeeper的连接超时时间
zookeeper.connection.timeout.ms=6000
12, Kafka começar múltipla corretor
Se você quer começar mais de um corretor no mesmo servidor pode copiar múltiplos arquivos config / server.propoerties
Aqui eu copiei arquivo três server.properties para que eu possa começar a três corretor. Antes de iniciar o corretor, você precisa modificar o arquivo server.properties três propriedades, broker.id, ouvintes e log.dirs, para garantir que esses três atributos diferentes.
bin/kafka-server-start.sh --daemon config/server1.properties
bin/kafka-server-start.sh --daemon config/server2.properties
bin/kafka-server-start.sh --daemon config/server3.properties
13, o pacote de instalação distribuído para um outro nó
[admin@node21 module]$ scp -r kafka_2.11-1.1.0 admin@node22:/opt/module/
[admin@node21 module]$ scp -r kafka_2.11-1.1.0 admin@node23:/opt/module/
修改node22，node23节点kafka配置文件conf/server.properties里面的broker.id和listeners的值。
14, adicione a variável de ambiente
[Admin @ node21 Módulo] $ vi / etc / profile
#KAFKA_HOME
Export = KAFKA_HOME / opt / Módulo / kafka_2.11-1.1.0
Export PATH = $ PATH: $ KAFKA_HOME / bin
salvá-lo imediatamente em vigor
[Admin @ node21 módulo] $ source / etc / profile
3.1 Em primeiro lugar começar tratador conjunto
todos os nós precisam ser realizadas zookeeper
[Admin @ node21 ~] $ zkServer.sh Iniciar
3.2 backgrounding serviço de cluster Kafka
todos os nós Kafka precisam ser executadas
[Admin @ node21 kafka_2.11-1.1.0] $ bin / kafka-server-start.sh config / server.properties &
15, kafka linha de comando
kafka-broker-list: node21: 9092, node22: 9092, node23: 9092
zookeeper.connect-list: node21: 2181, node22: 2181, node23: 2181
Criar um novo tópico no nó node21
[Admin @ node21 kafka_2.11-1.1.0] $ bin / kafka-topics.sh --create --zookeeper node21: 2181, node22: 2181, node23: 2181 --replication-fator 3 --partitions 3 --topic TestTopic
Opção Descrição:
--topic 定义topic名
--replication-factor 定义副本数
--partitions 定义分区数Ver cópia tópico da informação
[admin @ node21 kafka_2.11-1.1.0] $ bin / kafka-topics.sh --describe --zookeeper node21: 2181, node22: 2181, node23: 2181 TestTopic --topic
Exibir informações do tópico foi criado
[admin @ node21 kafka_2.11-1.1.0] $ kafka-topics.sh --list --zookeeper node21: 2181, node22: 2181, node23: 2181
mensagem de produção em node21
[Admin @ node21 kafka_2.11-1.1.0] $ bin / kafka-console-producer.sh --broker-list node21: 9092, node22: 9092, node23: 9092 --topic Teste Tópico
Informação do consumidor sobre node22 (operação de comando de idade)
[Admin @ node22 kafka_2.11-1.1.0] $ kafka-console-consumer.sh --zookeeper node21: 2181, node22: 2181, node23: 2181-Começando --topic TestTopic o --from
the-Começando --from: vontade o tópico TestTopic todos os dados no passado são lidos. Seja para aumentar a seleção configuração do cenário empresarial.
fim novo cliente
[Admin @ node22 kafka_2.11-1.1.0] $ kafka-console-consumer.sh --bootstrap-servidor node21: 9092, node22: 9092, node23: 9092 --do-começando TestTopic --topic
删除tópico
[admin @ node22 kafka_2.11-1.1.0] $ bin / kafka-topics.sh --zookeeper node21: 2181, node22: 2181, node23: 2181 --delete --topic TestTopic
Server.properties precisa definir delete.topic.enable = true ou apenas marcado para exclusão ou reiniciar diretamente.
16, parar o serviço Kafka
[Admin @ node21 kafka_2.11-1.1.0] $ bin / stop kafka-server-stop.sh
Kafka inicialização script escrito
[admin@node21 kafka_2.11-1.1.0]$ cd bin
[admin@node21 bin]$ vi start-kafka.sh
#!/bin/bash
nohup /opt/module/kafka_2.11-1.1.0/bin/kafka-server-start.sh /opt/module/kafka_2.11-1.1.0/config/server.properties >/opt/module/kafka_2.11-1.1.0/logs/kafka.log 2>&1 &
赋权限给脚本：chmod +x start-kafka.sh
17, -bash: unzip: comando não encontrado
Instale安装
[root @ dev-Redis agente] # yum install zip unzip -y
Apresentado aqui estão algumas perguntas para construir Kafka sobre o ambiente de desenvolvimento de máquina virtual encontradas no processo, fazer algo nesse total registros. Apenas sua própria aprendizagem
Trabalho mais difícil a cada dia, fazendo progressos todos os dias.
