高可用Kubernetes集群-15. 部署Kubernetes集群统一日志管理

企业开发 2018-05-07 21:20:25 阅读次数: 6

参考文档：

  1. Github：https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

Kubernetes推荐采用Fluentd+Elasticsearch+Kibana对系统与容器日志进行采集，查询并展现。

一．环境

1. 基础环境

组件

版本

Remark

kubernetes

v1.9.2

  

fluentd-elasticsearch

v2.0.4

  

elasticsearch

v5.6.4

  

kibana

5.6.4

  

2. 原理

  1. 容器运行输出的到控制台的日志，以*-json.log的命名方式存放到/var/lib/docker/containers目录；
  2. 在各Node上运行fluentd服务（同logstash），采集所在节点/var/log与/var/lib/docker/containers两个目录下的日志；
  3. fluentd采集的日志数据汇总到elasticsearch集群；
  4. kibana展示与交互。

二．部署Kubernetes集群性能监控

1. 准备images

kubernetes部署服务时，为避免部署时发生pull镜像超时的问题，建议提前将相关镜像pull到相关所有节点（以下以kubenode1为例），或搭建本地镜像系统。

  1. 基础环境已做了镜像加速，可参考：http://www.cnblogs.com/netonline/p/7420188.html
  2. 需要从gcr.io pull的镜像，已利用Docker Hub的"Create Auto-Build GitHub"功能（Docker Hub利用GitHub上的Dockerfile文件build镜像），在个人的Docker Hub build成功，可直接pull到本地使用。

 

[root@kubenode1 ~]# docker pull netonline/fluentd-elasticsearch:v2.0.4

[root@kubenode1 ~]# docker pull netonline/elasticsearch:v5.6.4

[root@kubenode1 ~]# docker pull netonline/kibana:5.6.4

 

# elastic需要vm.max_map_count不低于262144，利于轻量级的alpine linux初始化1个基础容器保证需求

[root@kubenode1 ~]# docker pull alpine:3.6

2. 下载yaml范本

# release下载页：https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

[root@kubenode1 ~]# mkdir -p /usr/local/src/yaml/efk

[root@kubenode1 ~]# cd /usr/local/src/yaml/efk

 

# fluentd-es-configmap.

[root@kubenode1 efk]# wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/fluentd-elasticsearch/fluentd-es-configmap.yaml

 

# fluentd-es-ds

[root@kubenode1 efk]# wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/fluentd-elasticsearch/fluentd-es-ds.yaml

 

# es-statefulset

[root@kubenode1 efk]# wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/fluentd-elasticsearch/es-statefulset.yaml

 

# es-service.

[root@kubenode1 efk]# wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/fluentd-elasticsearch/es-service.yaml

 

# kibana-deployment

[root@kubenode1 efk]# wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/fluentd-elasticsearch/kibana-deployment.yaml

 

# kibana-service

[root@kubenode1 efk]# wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/fluentd-elasticsearch/kibana-service.yaml

 

本实验使用yaml文件（修改版）：https://github.com/Netonline2016/kubernetes/tree/master/addons/fluentd-elasticsearch

3. es-statefulset.yaml

es-statefulset.yaml由4个模块组成：ServiceAccout，ClusterRole，ClusterRoleBinding，StatefulSet。

其中ServiceAccout，ClusterRole，ClusterRoleBinding等3个模块定义了1个新的ClusterRole权限，并完成ClusterRoleBinding，授权到ServiceAccout。这3个模块默认不修改。

1）StatefulSet

默认不需要修改ServiceAccount部分，设置ServiceAccount资源，获取rbac中定义的权限。

StatefulSet是Deployment/RC的一个特殊变种，主要面向有状态的服务，特性如下：

  1. StatefulSet中每个Pod都有稳定的，唯一的网络标识，可以用来发现集群内的其他成员；如StatefulSet的名字为elasticsearch，则第一个Pod为elasticsearch-0，第二个Pod为elasticsearch-1，依次类推；
  2. StatefulSet控制的Pod副本的启停顺序是受控的，操作第n个Pod时，前n-1个Pod已运行且状态ready；
  3. StatefulSet里的Pod采用稳定的持久化的存储卷，通过PV/PVC实现，删除Pod时间默认不会删除与StatefulSet相关的存储卷，保证了数据安全。

 

# 修改处：第76行，变更镜像名；

# 设定为StatefulSet资源，副本数为2，采用持久化存储；

# 使用init Container在应用启动之前做初始化操作

[root@kubenode1 ~]# cd /usr/local/src/yaml/efk/

[root@kubenode1 efk]# sed -i 's|k8s.gcr.io/elasticsearch:v5.6.4|netonline/elasticsearch:v5.6.4|g' es-statefulset.yaml

[root@kubenode1 efk]# cat es-statefulset.yaml

# Elasticsearch deployment itself

apiVersion: apps/v1

kind: StatefulSet

metadata:

name: elasticsearch-logging

namespace: kube-system

labels:

k8s-app: elasticsearch-logging

version: v5.6.4

kubernetes.io/cluster-service: "true"

addonmanager.kubernetes.io/mode: Reconcile

spec:

serviceName: elasticsearch-logging

replicas: 2

selector:

matchLabels:

k8s-app: elasticsearch-logging

version: v5.6.4

template:

metadata:

labels:

k8s-app: elasticsearch-logging

version: v5.6.4

kubernetes.io/cluster-service: "true"

spec:

serviceAccountName: elasticsearch-logging

containers:

- image: netonline/elasticsearch:v5.6.4

name: elasticsearch-logging

resources:

# need more cpu upon initialization, therefore burstable class

limits:

cpu: 1000m

requests:

cpu: 100m

ports:

- containerPort: 9200

name: db

protocol: TCP

- containerPort: 9300

name: transport

protocol: TCP

volumeMounts:

- name: elasticsearch-logging

mountPath: /data

env:

- name: "NAMESPACE"

valueFrom:

fieldRef:

fieldPath: metadata.namespace

volumes:

- name: elasticsearch-logging

emptyDir: {}

# Elasticsearch requires vm.max_map_count to be at least 262144.

# If your OS already sets up this number to a higher value, feel free

# to remove this init container.

initContainers:

- image: alpine:3.6

command: ["/sbin/sysctl", "-w", "vm.max_map_count=262144"]

name: elasticsearch-logging-init

securityContext:

privileged: true

4. es-service.yaml

es-service.yaml默认不需要修改。

5. fluentd-es-configmap.yaml

fluentd-es-configmap.yaml设定一个ConfigMap资源，以volume的形式挂载为fluentd服务内部的文件，默认不需要修改。

6. fluentd-es-ds.yaml

fluentd-es-ds.yaml由4个模块组成：ServiceAccout，ClusterRole，ClusterRoleBinding，StatefulSet。

其中ServiceAccout，ClusterRole，ClusterRoleBinding等3个模块定义了1个新的ClusterRole: fluentd-es权限，并完成ClusterRoleBinding: fluentd-es，授权到ServiceAccout: fluentd-es。这3个模块默认不修改。

1）DaemonSet

fluentd需要在每个Node上运行，有以下3种方式实现：

  1. 直接在Node上部署fluentd服务；
  2. 通过kubelet的--config参数，为每个Node加载fluentd Pod；
  3. 通过DaemonSet资源设定fluentd Pod在每个Node运行（官方推荐）。

 

# 修改处：第16行，变更镜像名；

# nodeSelector：标签设置为"true"，设定DaemonSet调度Pod只能调度到含有标签" beta.kubernetes.io/fluentd-ds-ready"的节点，需要在相应节点设置标签

[root@kubenode1 efk]# sed -i 's|k8s.gcr.io/fluentd-elasticsearch:v2.0.4|netonline/fluentd-elasticsearch:v2.0.4|g' fluentd-es-ds.yaml

[root@kubenode1 efk]# cat fluentd-es-ds.yaml

……

apiVersion: apps/v1

kind: DaemonSet

metadata:

name: fluentd-es-v2.0.4

namespace: kube-system

labels:

k8s-app: fluentd-es

version: v2.0.4

kubernetes.io/cluster-service: "true"

addonmanager.kubernetes.io/mode: Reconcile

spec:

selector:

matchLabels:

k8s-app: fluentd-es

version: v2.0.4

template:

metadata:

labels:

k8s-app: fluentd-es

kubernetes.io/cluster-service: "true"

version: v2.0.4

# This annotation ensures that fluentd does not get evicted if the node

# supports critical pod annotation based priority scheme.

# Note that this does not guarantee admission on the nodes (#40573).

annotations:

scheduler.alpha.kubernetes.io/critical-pod: ''

spec:

priorityClassName: system-node-critical

serviceAccountName: fluentd-es

containers:

- name: fluentd-es

image: netonline/fluentd-elasticsearch:v2.0.4

env:

- name: FLUENTD_ARGS

value: --no-supervisor -q

resources:

limits:

memory: 500Mi

requests:

cpu: 100m

memory: 200Mi

volumeMounts:

- name: varlog

mountPath: /var/log

- name: varlibdockercontainers

mountPath: /var/lib/docker/containers

readOnly: true

- name: libsystemddir

mountPath: /host/lib

readOnly: true

- name: config-volume

mountPath: /etc/fluent/config.d

nodeSelector:

beta.kubernetes.io/fluentd-ds-ready: "true"

terminationGracePeriodSeconds: 30

volumes:

- name: varlog

hostPath:

path: /var/log

- name: varlibdockercontainers

hostPath:

path: /var/lib/docker/containers

# It is needed to copy systemd library to decompress journals

- name: libsystemddir

hostPath:

path: /usr/lib64

- name: config-volume

configMap:

name: fluentd-es-config-v0.1.4

2）设置标签

# 所有期望运行fluentd Pod的节点都需要设置标签

[root@kubenode1 ~]# kubectl get nodes

[root@kubenode1 ~]# kubectl label nodes 172.30.200.21 beta.kubernetes.io/fluentd-ds-ready=true

[root@kubenode1 ~]# kubectl label nodes 172.30.200.22 beta.kubernetes.io/fluentd-ds-ready=true

[root@kubenode1 ~]# kubectl label nodes 172.30.200.23 beta.kubernetes.io/fluentd-ds-ready=true

7. kibana-deployment.yaml

# 修改处：第22行，变更镜像名；

[root@kubenode1 efk]# sed -i 's|docker.elastic.co/kibana/kibana:5.6.4|netonline/kibana:5.6.4|g' kibana-deployment.yaml

8. kibana-service.yaml

默认不需要修改Service部分。

三．验证

1. 启动服务

[root@kubenode1 ~]# cd /usr/local/src/yaml/efk/

[root@kubenode1 efk]# kubectl create -f .

2. 查看服务

# 查看statefulset，daemonset与deployment

[root@kubenode1 ~]# kubectl get statefulset -n kube-system

[root@kubenode1 ~]# kubectl get daemonset -n kube-system

[root@kubenode1 ~]# kubectl get deployment -n kube-system | grep kibana

 

# 查看elasticsearch与kibana的Pod运行状态；

# 有状态的Pod命名是有规律的

[root@kubenode1 ~]# kubectl get pods -n kube-system | grep -E 'elasticsearch|kibana'

 

# 查看fluentd的Pod运行状态，"-o wide"参数可显示Pod运行节点；

# 期望运行的节点都运行了fluentd Pod服务

[root@kubenode1 ~]# kubectl get pods -n kube-system -o wide | grep fluentd

 

# 查看service运行状态

[root@kubenode1 ~]# kubectl get svc -n kube-system | grep -E 'elasticsearch|kibana'

 

# kibana Pod第一次启动时有一定的初始化操作来优化并cache状态页面，时间一般在10~20分钟内；

# 通过日志查看，"-f"参数类似于"tailf"；

[root@kubenode1 ~]# kubectl log kibana-logging-5d4b6ddfc7-szx6d -n kube-system -f

3. 访问elasticsearch

# 访问elasticsearch，采用kube-apiserver方式，也可以使用kubecet proxy代理的方式（同dashboard方式）

[root@kubenode1 ~]# kubectl cluster-info

 

浏览器访问访问elasticsearch，返回json文档：https://172.30.200.10:6443/api/v1/namespaces/kube-system/services/elasticsearch-logging/proxy/

4. 访问kibana

访问kibana，同样采用kube-apiserver方式，也可以使用kubecet proxy代理的方式（同dashboard方式）

浏览器访问访问kibana：https://172.30.200.10:6443/api/v1/namespaces/kube-system/services/kibana-logging/proxy

同ELK，第一次进入kibana，需要进行初始化配置，默认"Create"即可；

 

猜你喜欢

转载自www.cnblogs.com/netonline/p/9004916.html
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
循环神经网络（rnn）讲解
Tigao教程四：单独的关节运动
金蝶K3WISE15.0-注册套打教程
如何在Mac上配置Kubernetes
Android应用结束自身进程的方法
SpringMVC学习 十三 拦截器栈
中国驻洛杉矶总领馆举行新春招待会
HttpClient get post 发送
11 - three.js 笔记 - 绘制三维字体模型
Mysql递归获取某个父节点下面的所有子节点和子节点上的所有父节点
每日归档
更多
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022