instalación de software de máquina virtual, configurar un entorno de
1, wget: command not found
[Root @ localhost ~] # yum -y install wget
instalación se haya completado.
La premisa de los métodos anteriores que utilizan el sistema Linux ya está conectado a redes externas, puede hacer ping a la página principal de Baidu, si el paso está conectado a redes externas, no es, entonces nos vamos a abrir el enlace de red (haga clic en el lote Baidu), después de la apertura de los enlaces web, reinicie el sistema Linux para que pueda realmente fuera de la red, debido a wget se descarga a través de la red externa y ejecute yum install wget, por lo que se puede.
2, descarga en línea instalación de JDK
命令:
wget --no-check-certificado --no-cookies --header "Cookie: oraclelicense = accept-SecureBackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11 /d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm
参考地址:
https://www.cnblogs.com/justuntil/p/11665540.html
3, crear un directorio
mkdir /data1/ehserver/env/kafka_2.11-2.2.0/logs/kafka-logs-1 -pv
descompresión:
la tar-zxf kafka_2.11-2.0.0.tgz -C / Datal / ehserver / el env
4, ver la máquina virtual existente en la versión JDK:
Introduzca el comando: rpm -qa | grep JDK
5, la descarga ZK instalación
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0.tar.gz
wget http://mirror.bit.edu.cn/apache/zookeeper /zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
Referencia Dirección:
https://www.cnblogs.com/expiator/p/9853378.html
6, inicio ZK no puede encontrar o no puede cargar la clase principal org.apache.zookeeper.ZooKeeperMain
https://www.cnblogs.com/zhoading/p/11593972.html
7, AnSo kafka
Parte de montaje de referencia kafka
8, prueba de demostración
创建一个topic：
对于linux或者macos操作系统，执行kafka的shell文件
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
对于windows操作系统用户，请执行对应的bin/windows目录下的bat文件
bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
启动producer：
对于linux或者macos操作系统，执行kafka的shell文件
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
对于windows操作系统，执行kafka的bat文件
bin/windows/kafka-console-producer.bat --broker-list localhost:9092 --topic test
启动consumer：
对于linux或者macos操作系统，执行kafka的shell命令
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
对于windows操作系统，执行kafka的bat命令
bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test9, anormal:
ERROR de error al enviar el mensaje de prueba a tema con clave: null, valor: 14 bytes con error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.CorruptRecordException: Este mensaje tiene no su suma de comprobación CRC, supera el tamaño válido, tiene una clave nula para un tema compactado, o que sea corrupta.
La razón: kafka generada por la necesidad de crear un valor clave
Inicio productor modificada como: bin / kafka-console-producer.sh --broker lista localhost: 9092 prueba --topic \ - parse.key propiedad = true \ - key.separator propiedad =,
Enviar el formato: clave, valor
para que el consumidor final puede recibir el valor.
10, instalar Redis
wget http://download.redis.io/releases/redis-5.0.5.tar.gz
referencias:
https://blog.csdn.net/slss01/article/details/88920845
https://blog.csdn.net/weixin_44899258/article/details/93976868
Inicio: ./bin/redis-server /data1/ehserver/env/redis-4.0.8/etc/redis.conf
De 11, -bash No se encontró comando: MKDE
La razón es porque gcc no está instalado
Solución:
yum -y install gcc-c ++
12, Redis comienzan salida del registro
https://www.cnblogs.com/hzb462606/p/9117193.html
archivo de registro "/data1/ehserver/env/redis-4.0.8/logs/nohup.out"
/data1/ehserver/env/redis-4.0.8/bin/redis-server
/data1/ehserver/env/redis-4.0.8/etc/redis.conf
10, tomcat
wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.8/bin/apache-tomcat-9.0.8.tar.gz
wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-7/v7.0.100/bin/apache-tomcat-7.0.100.tar.gz
# Ejecutar ventana acoplable -d -p 58080: 8080 -v / root / webapps /: / opt / tomcat / webapps / --name mytomcat_1 mytomcat: 1.0 /root/run.sh
De 11, kafka descripción de perfil (server.properties)
(Los oyentes no son los mismos y cada broker.id nodo) los server.properties
#是否允许删除topic，默认false不能手动删除
delete.topic.enable=true
#当前机器在集群中的唯一标识，和zookeeper的myid性质一样
broker.id=0
#当前kafka服务侦听的地址和端口，端口默认是9092
listeners = PLAINTEXT://192.168.100.21:9092
#这个是borker进行网络处理的线程数
num.network.threads=3
#这个是borker进行I/O处理的线程数
num.io.threads=8
#发送缓冲区buffer大小，数据不是一下子就发送的，先会存储到缓冲区到达一定的大小后在发送，能提高性能
socket.send.buffer.bytes=102400
#kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
socket.receive.buffer.bytes=102400
#这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
socket.request.max.bytes=104857600
#消息日志存放的路径
log.dirs=/opt/module/kafka_2.11-1.1.0/logs
#默认的分区数，一个topic默认1个分区数
num.partitions=1
#每个数据目录用来日志恢复的线程数目
num.recovery.threads.per.data.dir=1
#默认消息的最大持久化时间，168小时，7天
log.retention.hours=168
#这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
log.segment.bytes=1073741824
#每隔300000毫秒去检查上面配置的log失效时间
log.retention.check.interval.ms=300000
#是否启用log压缩，一般不用启用，启用的话可以提高性能
log.cleaner.enable=false
#设置zookeeper的连接端口
zookeeper.connect=node21:2181,node22:2181,node23:2181
#设置zookeeper的连接超时时间
zookeeper.connection.timeout.ms=6000
12, Kafka iniciar múltiples corredor
Si desea iniciar más de un corredor en un mismo servidor puede copiar múltiples archivos de configuración / server.propoerties
Aquí he copiado el archivo tres server.properties para que pueda empezar a tres corredor. Antes de iniciar el corredor, es necesario modificar el archivo server.properties tres propiedades, broker.id, oyentes y log.dirs, para asegurar que estos tres atributos diferentes.
bin/kafka-server-start.sh --daemon config/server1.properties
bin/kafka-server-start.sh --daemon config/server2.properties
bin/kafka-server-start.sh --daemon config/server3.properties
13, el paquete de instalación distribuida a otro nodo
[admin@node21 module]$ scp -r kafka_2.11-1.1.0 admin@node22:/opt/module/
[admin@node21 module]$ scp -r kafka_2.11-1.1.0 admin@node23:/opt/module/
修改node22，node23节点kafka配置文件conf/server.properties里面的broker.id和listeners的值。
14, agregue la variable de entorno
[Admin @ node21 Módulo] $ vi / etc / Perfil
#KAFKA_HOME
exportación = KAFKA_HOME / opt / Módulo / kafka_2.11-1.1.0
exportación PATH = $ PATH: $ KAFKA_HOME / bin
guardarlo en vigor inmediatamente
[Admin @ node21 módulo] $ source / etc / profile
3.1 Primera puesta empleado del zoológico cúmulo
todos los nodos deben realizarse empleado del zoológico
[Admin @ node21 ~] $ zkServer.sh Start
3.2 backgrounding servicio de clúster Kafka
todos los nodos Kafka tienen que llevarse a cabo
[Admin @ node21 kafka_2.11-1.1.0] $ bin / kafka-server-start.sh config / server.properties y
De 15, kafka línea de comandos
kafka-corredor-lista: node21: 9092, node22: 9092, node23: 9092
zookeeper.connect lista: node21: 2181, node22: 2181, node23: 2181
Crear un nuevo tema en node21 nodo
[Admin @ node21 kafka_2.11-1.1.0] $ bin / kafka-topics.sh --create --zookeeper node21: 2181, node22: 2181, node23: 2181 --replication factor 3 --partitions 3 --topic TestTopic
Opción Descripción:
--topic 定义topic名
--replication-factor 定义副本数
--partitions 定义分区数Ver el tema copia de la información
[admin @ node21 kafka_2.11-1.1.0] $ bin / kafka-topics.sh --describe --zookeeper node21: 2181, node22: 2181, node23: 2181 TestTopic --topic
Ver información del tema ha creado
[admin @ node21 kafka_2.11-1.1.0] $ kafka-topics.sh --list --zookeeper node21: 2181, node22: 2181, node23: 2181
Producción de mensajes en node21
[Admin @ node21 kafka_2.11-1.1.0] $ bin / kafka-console-producer.sh --broker lista node21: 9092, node22: 9092, node23: 9092 --topic Prueba Tema
información al consumidor sobre node22 (operación de comandos de edad)
[Admin @ node22 kafka_2.11-1.1.0] $ kafka-console-consumer.sh --zookeeper node21: 2181, node22: 2181, node23: 2181-A partir --topic TestTopic la --de
la --de-Principio: la voluntad el tema TestTopic todos los datos en el pasado se leen. Si hay que aumentar la selección de la configuración escenario de negocios.
Nuevo pedido de un cliente
[Admin @ node22 kafka_2.11-1.1.0] $ kafka-console-consumer.sh --bootstrap-servidor node21: 9092, node22: 9092, node23: 9092 --de-comenzando TestTopic --topic
删除tema
[admin @ node22 kafka_2.11-1.1.0] $ bin / kafka-topics.sh --zookeeper node21: 2.181, node22: 2.181, node23: 2.181 --delete --topic TestTopic
server.properties le basta con exponer delete.topic.enable = true o simplemente marcado para su eliminación o reiniciar directamente.
16, detener el servicio Kafka
[Admin @ node21 kafka_2.11-1.1.0] $ bin / parada kafka-server-stop.sh
Kafka inicio escritura de guiones
[admin@node21 kafka_2.11-1.1.0]$ cd bin
[admin@node21 bin]$ vi start-kafka.sh
#!/bin/bash
nohup /opt/module/kafka_2.11-1.1.0/bin/kafka-server-start.sh /opt/module/kafka_2.11-1.1.0/config/server.properties >/opt/module/kafka_2.11-1.1.0/logs/kafka.log 2>&1 &
赋权限给脚本：chmod +x start-kafka.sh
17, -bash: command not found: descomprimir
Instalar安装
[root @ dev-ReDiS agente] # yum install zip descomprimir -y
aquí presentados son algunas preguntas a la acumulación de Kafka en el entorno de desarrollo de la máquina virtual encontrado en el proceso, para hacer algo en este total registros. Sólo su propio aprendizaje
El trabajo más duro todos los días, avanzando todos los días.
