1. Veja o kafka-> host-> componentes do CDH
Confirme se a versão do Kafka correspondente à versão do CDH é 2.2.1
2. Vá para o site oficial do kafka para baixar o arquivo 2.2.1 src do kafka
3. Descompacte o arquivo .tgz
4. Insira o arquivo descompactado e abra o cmd aqui
5. Digite o comando no terminal (pode ser necessário se conectar à rede externa)
gradle wrapper
gradlew jar
gradlew idea
6. Use o projeto de importação de ideias
Escolha o gradle
7. Modifique o endereço do zookeeper de config / server.properties
8. janelas constroem zookeeper
Baixe apache-zookeeper-3.6.2-bin.zip e descompacte
Modifique zoo_example.cfg de zk \ conf para zoo.cfg
Execute zk \ bin \ zkServer.cmd
9. Execute core \ src \ main \ scala \ kafka \ Kafka.scala no Idea
10.Editar configurações:
Opções de VM:
-Dlog4j.configuration=file:D:\workspace\project_IDEA\KAFKA\kafka-2.2.1-src\config\log4j.properties
Argumentos do programa:
config/server.properties
11. Substitua o arquivo build.gradle
12. Importar dependências
Arquivo-> Estrutura do Projeto-> Módulos->
kafka-2.2.1-src / core /
main-> dependências-> 右上角 加 号 ->
13. construir para compilar o projeto
13. Execute kafka.scala e execute o serviço kafka com sucesso!
14. Criar tópico
kafka-topics.bat --zookeeper 127.0.0.1:2181 --create --replication-factor 1 --partitions 1 --topic a1
15. Log de saída
Modifique log4j.properties:
log4j.appender.kafkaAppender.File=D:\\workspace\\share