本地docker安装zookeeper,kafka,flink

首先安装zookeeper 这里zookeeper的安装是为了去使用kafka

这里我们安装的是wurstmeister 的kafka 和zookeeper 镜像也是在hub.docker.com网站上，Star最多的kafka镜像

直接在cmd执行run命令（前提是有本地docker。。。）

第一次使用因为本地没有此镜像会去下载

docker run -d --name zookeeper -p 2181 -t wurstmeister/zookeeper

之后执行run kafka 使用--link指定连接zookeeper

docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=127.0.0.1 --env KAFKA_ADVERTISED_PORT=9092 wurstmeister/kafka:latest

docker exec -it CONTAINER ID /bin/bash （此处的CONTAINER ID 指的是你镜像的CONTAINER ID 不是命令可以通过 docker ps --no-trunc命令查看正在运行的程序的container id 找到start-kafka.sh的container id）

执行完成后就进入了kafka的控制台此时可以去进行创建topic 消费消息等命令操作

如创建topic 操作

cd /opt/kafka_2.*
bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic nb-nequal-cem-weiboTest

安装flink

mkdir /opt/flink

vim /opt/flink/docker-compose.yml

注意mac下要使用sudo 权限才能编辑

编辑内容如下
version: "2.1"
services:
  jobmanager:
    image: flink
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
  taskmanager:
    image: flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

编辑完成后
cd /opt/flink/

执行docker-compose build会下载镜像
再执行docker-compose up -d --force-recreate会启动镜像

此时就可以通过 docker exec -it --user root flink_jobmanager_1 /bin/bash 命令进入 flink容器

也可以在web端通过（127.0.0.1:8081(或本机ip:端口) 访问flink dashboard

可以通过 docker-compose down关闭容器

本地docker安装zookeeper,kafka,flink

猜你喜欢