【实验级】Docker-Compose搭建单服务器ELK伪集群

其他 2019-06-20 19:39:48 阅读次数: 0

本文说明

由于最近在搭ELK的日志系统，为了演示方案搭了个单台服务器的日志系统，就是前一篇文章中所记，其实这些笔记已经整理好久了，一直在解决各种问题就没有发出来。在演示过程中我提到了两个方案，其中之一来自于【原创】分布式之elk日志架构的演进一文中的中级版，另一自然是使用日志直接输出到Kafka.

为了让这个看起来还不错的方案落地，领导决定把这些中间件，服务等都虚拟化，做成docker容器，现在仍在试验阶段，所以做了有点不合理的设计，把这些容器都布署在同一台服务器上！为了能实现这种假想式的设计，做了此次尝试，也为了了解这个集群是否可行性，后期拆分参考。大家如果自己电脑内存有16G以上可用的，可以尝试下这个脚本，话不多说，把之前准备的脚本和文档发出来，给大家个参考。

本文不包含kafka之前的日志采集部分，这部分可以参考使用本人的LogDemo https://github.com/HellxZ/LogDemo.git

声明

如果有人擅自使用本文内容放到自己公司生产环境中，出现的所有问题，后果自负，一率与本人无关！

环境准备

  • Debain Stretch 9.9 16G内存
  • Docker 18.09.6
  • Docker-Compose 1.17.1
  • Java 8 及以上

文档部分

服务器环境准备

1.确认端口号是否有冲突

为了保证环境一致，请仔细查看如下设置是否与当前服务器端口占用有冲突、映射是否有问题

服务名 服务功能说明 容器名 端口号
es-master Elasticsearch主节点，不存数据：防止脑裂问题 es-cluster-master 19200
es-slave1 Elasticsearch从节点1，存数据 es-cluster-slave1 19201
es-slave2 Elasticsearch从节点2，存数据 es-cluster-slave2 19202
es-slave3 Elasticsearch从节点3，存数据 es-cluster-slave3 19203
es-balance Elasticsearch连接节点，不存数据，供Kibana与Logstash连接 es-cluster-balance 19204
kibana Elasticsearch数据可视化前端 kibana 15601
zookeeper 分布式协调中间件，用于Kafka集群的master节点的选取 zookeeper 12181
kafka1 Kafka节点，作业务缓冲存，保证服务可靠性、数据不易丢失 kafka1 9091
kafka2 同上 kafka2 9092
kafka3 同上 kafka3 9093
kafka-manager 管理kafka集群的前端，可以查看集群健康状态等 kafka-manager 19000
logstash1 Logstash节点，日志数据消费、日志分词、转储到Elasticsearch集群 logstash-1 9601
logstash2 同上 logstash-2 9602
logstash3 同上 logstash-3 9603

这里边占用的端口号均为宿主机的，为了防止出现冲突，前边加1都做了处理，如果仍有冲突，请联系我

2.确定docker与docker-compose安装

安装docker与配置国内镜像请参阅CentOS安装Docker-ce并配置国内镜像

sudo docker -v #查看docker版本，如果正常说明docker已经安装，可以参考把当前登录用户加入docker组，来去除sudo

Docker默认使用root用户权限才能执行，如果想使用普通用户执行docker还不想用sudo，可以使用如下命令

sudo usermod -aG docker 要使用的用户名

如此操作需重启方可生效

安装docker-compose

sudo curl -L "https://github.com/docker/compose/releases/download/1.24.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose #赋执行权限

查看docker-compose是否安装

docker-compose -v #查看docker-compose版本

3./etc/hosts修改

由于Kafka需要进行域名映射，而我们使用服务的时候很有可能是内网，所以，这里我们通过修改hosts配置文件，来达到局域网内其它服务的访问

sudo vim /etc/hosts
#追加如下内容
#kafka hosts
本机ip    kafka1
本机ip    kafka2
本机ip    kafka3

其中本机ip是当前主机的内网ip，如果微服务与其它服务不在同一台服务器，我们还需要配置nginx使用stream监听指定端口, IP也变成了外网的ip，此条待测

4.Centos7修改systemd的配置文件

vim /etc/systemd/system.conf
#添加以下内容
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity

修改此处的目的在于需要对Elasticsearch内存进行限制，在systemd管理下如果不设置elasticsearch的限制，有很大可能出现内存溢出与服务器宕机

5.减少swap分区的使用与生产环境es配置

sudo echo "vm.swappiness=0" >> /etc/sysctl.conf #追加尽少使用swap配置
grep vm.max_map_count /etc/sysctl.conf #查看内存权限大小，如果低于262144，需要设置为最小262144
sudo sysctl -p #使配置文件立即生效

减少swap分区使用，而不是禁用，此方式可以使elasticsearch与kafka的性能保持稳定

配置文件准备

1.复制elk-docker配置文件夹到当前用户有读写权限的目录中

复制elk-docker文件夹到启动docker用户可访问的目录

sudo chown -R 当前用户:当前用户组 elk-docker  #赋权访问

2.修改文件夹下的logstash/config下的两个文件内容

如你所见，此文件夹下有logstash.conf 与logstash.yml两个文件，下边分别进行修改

修改logstash.yml文件

修改xpack.monitoring.elasticsearch.hosts中的ip为当前内网ip

修改logstash.conf文件

找到output/elasticsearch下的hosts,把这个ip地址也改成当前内网ip

3..env文件的使用

为了便于运维和实施，在与此文档同级的目录下有一个配置文件名为.env，这个文件是通过运维实施人员修改配置之用，下边对里边需要用到的参数一一说明

  • HOST_IP: 设置宿主机内网ip，为kibana提供连接，需要改
  • ES_JVM_OPTS: 每个Elasticsearch实例的jvm启动参数，可指定启动内存与最大内存，默认-Xms256m -Xmx256m，可以不改，但不能再改小了
  • ES_MASTER_DATA_DIR：Elasticsearch master节点的数据目录
  • ES_SLAVE1_DATA_DIR：Elasticsearch slave1节点的数据目录
  • ES_SLAVE2_DATA_DIR：Elasticsearch slave2节点的数据目录
  • ES_SLAVE3_DATA_DIR：Elasticsearch slave3节点的数据目录
  • ES_BALANCE_DATA_DIR：Elasticsearch balance节点的数据目录
  • LOGSTASH_CONFIG_DIR: Logstash的配置文件目录，无需改

上边提到的ES开头变量的指向的是宿主机目录，如果自行指定，虽然启动集群时自动创建目录，但是无法正确访问的，原因是创建这些文件夹的是root用户，而es使用的是启动docker的账户，当然了，如果都是在root用户下执行自然没问题，可以使用ls -alh查看，不推荐在正式环境中直接使用root用户

启动集群服务

启动前请确保es的数据目录可以被docker用户访问，正确创建

sudo docker-compose up -d #项目后台启动，没有报错，正确输出多个服务

docker&docker-compose常用命令

#查看各服务日志
docker logs -f 容器名或容器id
#查看当前运行中的容器
docker ps
#关闭docker-compose所有服务
cd docker-compose.yml所在的目录
docker-compose down #关闭该文件中定义的所有服务 并 移除集群的虚拟网卡
#强制删除所有容器，无论是开着的还是已经关闭的
docker rm -f $(docker ps -qa)
#进入正在运行的容器中
docker exec -it 容器名或容器id bash   #使用bash打开

集群管理与功能使用

Elasticsearch-head插件

安装chrome插件elasticsearch-head，连接到主机的19200端口，进行查看,除些之外，可以通过当前ip:19200/_cat/health来查看当前集群状态

添加完成后，点击图标，如下图

其中green说明集群健康完全可用。yellow说明有节点挂了，部分可用。red集群不可用

除了直接可以看到的，我们还可以

  • 通过索引来查看当前es索引库中有哪些索引
  • 通过基本查询使用简单查询功能，需要简单查询语法了解
  • 通过复合查询使用复合查询功能，当然使用这个功能需要了解复合查询语法

查询功能可以使用kibana进行查询，那个更方便一些

查看索引数据，点击右侧指定的名称即可查看保存的源数据

Kafka-Manager

使用主机ip:1900，如图添加集群

拖到最下方，点save.如下图添加成功

点击Go to cluster view 立即查看集群

点击左上方Clusters也可以看到集群如下图，以后进来也是这个界面。点击集群名即可查看，如上图示

具体使用kafkaManager请参考官方github: https://github.com/yahoo/kafka-manager

Kibana

访问kibana服务器ip:15601/app/kibana#/discover?_g=()

我们可以在Filters处直接搜索要找的日志，当然也可以使用kql，详情见官网。

添加筛选可以为我们提供更准确的日志搜索，比如当前我们用message就是日志的内容，可以如下操作

我们还可以通过时间来过滤日志

kibana左下角有个隐藏按钮，我们打开看看

ps: 暂时我们用到的也就是开始的时候创建索引，以及后续用的Discover与开发工具

脚本部分

这里先把脚本与文件结构先列出来

elk-docker/
├── docker-compose.yml
├── .env
├── es-data
│   ├── es-balance-data
│   ├── es-master-data
│   ├── es-slave1-data
│   ├── es-slave2-data
│   └── es-slave3-data
├── logstash
│   └── config
│       ├── logstash.conf
│       └── logstash.yml
└── ReadMeFirst.md

8 directories, 5 files

这里es-data下的所有都是文件夹，logstash文件夹为配置文件夹（官网没给Docker设置的部分），docker-compose.yml就是我们的脚本，ReadMeFirst.md就是上边的文档部分，分别贴出来，好像git不会提交空文件夹，这里就不放github上了。

这里有一个.env文件是用来设置传入参数的，docker-compose如果想一下子跑起来集群，是不能传参的，不过.env提供了默认的参数，在docker-compose.yml 中可以很方便的取到

具体需要改的地方，请参见上边文档部分吧。

.env

# .env file for docker-compose default. please be careful.

# kibana use HOST_IP to connect to elasticsearch, need to change it to host machine intranet ip
HOST_IP=10.2.114.110

# elasticsearch's JVM args setting, for every elasticsearch instance.
# -Xms is es boostrap occupied memory size
# -Xmx is the biggest memory es can use.
ES_JVM_OPTS=-Xms256m -Xmx256m

# WARNINGS: after you set elasticsearch data dirs, you must mkdirs with login user.
# because the es-cluster need to save data to dirs. if you use root to create folders, they can not save data then cluster down.

# the es-master data mount dir set
ES_MASTER_DATA_DIR=./es-data/es-master-data
# the es-slave1 data mount dir set
ES_SLAVE1_DATA_DIR=./es-data/es-slave1-data
# the es-slave2 data mount dir set
ES_SLAVE2_DATA_DIR=./es-data/es-slave2-data
# the es-slave3 data mount dir set
ES_SLAVE3_DATA_DIR=./es-data/es-slave3-data
# the es-balance data mount dir set, ofcourse this node have no data but node info.
ES_BALANCE_DATA_DIR=./es-data/es-balance-data

# logstash config dir mount set. change inside dir config file to change logstash cluster settings.
# default use relation path. don't change if you don't know what means.
LOGSTASH_CONFIG_DIR=./logstash/config

# kafka bootstrap create topic name
# by default is TOPIC_NAME=all_logs:1:1, "all_logs" is topic's name, first "1" means have one partition, last 1 means have one replicas.
# it's also can set TOPIC_NAME=topicName:patitionSum:replicasNum:cleanupPolicy, e.g. "Topic1:1:3:compact", and that can also set multiple topics,such as "Topic1:1:3，Topic2:2:4:compact"
# the multiple topics separator default is "," you can set new separator by "KAFKA_CREATE_TOPICS_SEPARATOR".
KAFKA_BOOTSTRAP_CREATE_TOPICS=all_logs:1:1

docker-compose.yml

version: "3"
services:
    es-master: # use to be Tribe Node & Master Node, with no data save.
        image:  elasticsearch:7.1.0
        container_name: es-cluster-master
        environment: # setting container env
            - cluster.name=es-cluster
            - node.name=es-master
            - cluster.initial_master_nodes=es-master
            - node.master=true   # specific this node is master node.
            - node.data=false    # master node don't save data to prevent cluster down.
            - http.cors.enabled=true    # solve cross origin
            - http.cors.allow-origin=*
            - bootstrap.memory_lock=true    # lock bootstrap memory.
            - ES_JAVA_OPTS=${ES_JVM_OPTS}   # set es bootstrap jvm args
        ports:
            - "19200:9200"
        expose: # expose ports let other containers link it
            - "9200"    # let kibana connect this port. 
            - "9300"    # use this port let cluster other nodes to discovery.
        restart: always
        volumes:        # mount host's dirs
            - ${ES_MASTER_DATA_DIR}:/usr/share/elasticsearch/data:rw
        networks: 
            - elk-network
    es-slave1:
        image:  elasticsearch:7.1.0
        container_name: es-cluster-slave1
        depends_on:
            - es-master
        environment: # setting container env
            - cluster.name=es-cluster
            - node.name=slave1
            - node.master=false # no master and saving data
            - node.data=true
            - cluster.initial_master_nodes=es-master # point to init master node name.
            - discovery.zen.ping.unicast.hosts=es-master # unique master         
            - bootstrap.memory_lock=true    # lock bootstrap memory.
            - ES_JAVA_OPTS=${ES_JVM_OPTS}
        ports:
            - "19201:9200"
        expose: # expose ports let other containers link it
            - "9300"
        restart: always
        volumes:        # mount host's dirs to save data, has read and write privilege
            - ${ES_SLAVE1_DATA_DIR}:/usr/share/elasticsearch/data:rw
        networks: 
            - elk-network
    es-slave2:
        image:  elasticsearch:7.1.0
        container_name: es-cluster-slave2
        depends_on:
            - es-master
        environment: # setting container env
            - cluster.name=es-cluster
            - node.name=slave2
            - node.master=false
            - node.data=true
            - cluster.initial_master_nodes=es-master
            - discovery.zen.ping.unicast.hosts=es-master           
            - bootstrap.memory_lock=true    # lock bootstrap memory.
            - ES_JAVA_OPTS=${ES_JVM_OPTS}
        ports:
            - "19202:9200"
        expose: # expose ports let other containers link it
            - "9300"
        labels:         # add description
            com.jiuqi.description: "elk-cluster-slave2 on docker"
        restart: always
        volumes:        # mount host's dirs
            - ${ES_SLAVE2_DATA_DIR}:/usr/share/elasticsearch/data:rw 
        networks: 
            - elk-network
    es-slave3:
        image:  elasticsearch:7.1.0
        container_name: es-cluster-slave3
        depends_on:
            - es-master
        environment: # setting container env
            - cluster.name=es-cluster
            - node.name=slave3
            - node.master=false
            - node.data=true
            - cluster.initial_master_nodes=es-master
            - discovery.zen.ping.unicast.hosts=es-master
            - bootstrap.memory_lock=true    # lock bootstrap memory.
            - ES_JAVA_OPTS=${ES_JVM_OPTS}
        ports:
            - "19203:9200"
        expose: # expose ports let other containers link it
            - "9300"
        restart: always
        volumes:        # mount host's dirs
            - ${ES_SLAVE3_DATA_DIR}:/usr/share/elasticsearch/data:rw 
        networks: 
            - elk-network
    es-balance:
        image:  elasticsearch:7.1.0
        container_name: es-cluster-balance
        depends_on:
            - es-master
        environment: # setting container env
            - cluster.name=es-cluster
            - node.name=balance
            - node.master=false # the balance is no master and no data save. 
            - node.data=false
            - cluster.initial_master_nodes=es-master
            - discovery.zen.ping.unicast.hosts=es-master
            - bootstrap.memory_lock=true    # lock bootstrap memory.
            - ES_JAVA_OPTS=${ES_JVM_OPTS}
        ports:
            - "19204:9200"
        expose: # expose ports let other containers link it
            - "9300"
        restart: always
        volumes:        # mount host's dirs
            - ${ES_BALANCE_DATA_DIR}:/usr/share/elasticsearch/data:rw 
        networks: 
            - elk-network
    kibana:
        image: kibana:7.1.0
        container_name: kibana
        depends_on:
            - es-master
        environment:
            - ELASTICSEARCH_HOSTS=http://${HOST_IP}:19204 # connect the es-balance node
            - I18N_LOCALE=zh-CN
        ports:
            - "15601:5601"
        networks:
            - elk-network
    zookeeper:
        image: zookeeper:3.5.5
        restart: always
        container_name: zookeeper
        ports:
            - "12181:2181"
        expose:
            - "2181"    #let kafka manager connect.
        networks:
            - elk-network
    kafka1:
        image: wurstmeister/kafka:2.12-2.2.1
        restart: always
        container_name: kafka1
        ports:
            - "9091:9091"
        environment:
            - KAFKA_BROKER_ID=1
            - KAFKA_LISTENERS=PLAINTEXT://kafka1:9091
            - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka1:9091
            - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
            - KAFKA_MESSAGE_MAX_BYTES=2000000
            - KAFKA_CREATE_TOPICS=${KAFKA_BOOTSTRAP_CREATE_TOPICS}
        expose:
            - "9091"
        depends_on:
            - zookeeper
        networks:
            - elk-network
    kafka2:
        image: wurstmeister/kafka:2.12-2.2.1
        restart: always
        container_name: kafka2
        ports:
            - "9092:9092"
        environment:
            - KAFKA_BROKER_ID=2
            - KAFKA_LISTENERS=PLAINTEXT://kafka2:9092
            - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka2:9092
            - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
            - KAFKA_MESSAGE_MAX_BYTES=2000000
            - KAFKA_CREATE_TOPICS=${KAFKA_BOOTSTRAP_CREATE_TOPICS}
        expose:
            - "9092"
        depends_on:
            - zookeeper
        networks:
            - elk-network
    kafka3:
        image: wurstmeister/kafka:2.12-2.2.1
        restart: always
        container_name: kafka3
        ports:
            - "9093:9093"
        environment:
            - KAFKA_BROKER_ID=3
            - KAFKA_LISTENERS=PLAINTEXT://kafka3:9093
            - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka3:9093
            - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
            - KAFKA_MESSAGE_MAX_BYTES=2000000
            - KAFKA_CREATE_TOPICS=${KAFKA_BOOTSTRAP_CREATE_TOPICS}
        expose:
            - "9093"
        depends_on:
            - zookeeper
        networks:
            - elk-network
    kafka-manager:
        image: sheepkiller/kafka-manager
        container_name: kafka-manager
        ports:
            - "19000:9000"
        environment:
            ZK_HOSTS: zookeeper:2181
            APPLICATION_SECRET: "admin"
        depends_on:
            - zookeeper
        networks:
            - elk-network
    logstash1:
        image: logstash:7.1.0
        container_name: logstash-1
        ports:
            - "9601:9600"
        environment:
            - XPACK_MONITORING_ENABLED=true
        volumes:
            - ${LOGSTASH_CONFIG_DIR}/logstash.conf:/usr/share/logstash/pipeline/logstash.conf:rw
            - ${LOGSTASH_CONFIG_DIR}/logstash.yml:/usr/share/logstash/config/logstash.yml:rw
        depends_on:
            - kafka1
            - kafka2
            - kafka3
            - es-master
            - es-slave1
            - es-slave2
            - es-slave3
        networks:
            - elk-network     
    logstash2:
        image: logstash:7.1.0
        container_name: logstash-2
        ports:
            - "9602:9600"
        environment:
            - XPACK_MONITORING_ENABLED=true
        volumes:
            - ${LOGSTASH_CONFIG_DIR}/logstash.conf:/usr/share/logstash/pipeline/logstash.conf:rw
            - ${LOGSTASH_CONFIG_DIR}/logstash.yml:/usr/share/logstash/config/logstash.yml:rw
        depends_on:
            - kafka1
            - kafka2
            - kafka3
            - es-master
            - es-slave1
            - es-slave2
            - es-slave3
        networks:
            - elk-network
    logstash3:
        image: logstash:7.1.0
        container_name: logstash-3
        ports:
            - "9603:9600"
        environment:
            - XPACK_MONITORING_ENABLED=true
        volumes:
            - ${LOGSTASH_CONFIG_DIR}/logstash.conf:/usr/share/logstash/pipeline/logstash.conf:rw
            - ${LOGSTASH_CONFIG_DIR}/logstash.yml:/usr/share/logstash/config/logstash.yml:rw
        depends_on:
            - kafka1
            - kafka2
            - kafka3
            - es-master
            - es-slave1
            - es-slave2
            - es-slave3
        networks:
            - elk-network
networks:
    elk-network: 
        driver: bridge

logstash/config/logstash.yml

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://10.2.114.110:19204" ]

logstash/config/logstash.conf

input {
  kafka {
    bootstrap_servers => "kafka1:9091,kafka2:9092,kafka3:9093"
    topics => ["all_logs"]
    group_id => "logstash"
    codec => json
  }
}

filter {

}

output {
  elasticsearch {
    hosts => ["10.2.114.110:19204"]
    index => "all-logs-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
  stdout {
    codec => rubydebug
  }
}

结束语

本文只是为了验证方案的可行性，并没有考虑生产环境中的负载情况，所以不适合放到生产环境中使用。

仅用于提供一个思路，正确按照文档操作是不会有问题的。如果有，请在下方评论，我会尽快改正。

声明：原创文章禁止转载

猜你喜欢

转载自www.cnblogs.com/hellxz/p/11060633.html
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
让自己的头脑极度开放
CentOS 6.5(x64) 和Redhat6.5操作系误删libc
高可用注册中心
【日记】12.28/【题解】AtCoder AGC041
XML（5）_XML 约束_DTD
Java集合Map（四）
树梅派安装桌面环境教程
pipenv 的 使用和安装
小程序白屏问题和内存研究
C语言简单选择排序
每日归档
更多
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022