Kubernetes の概要
 kubeadm を使用して k8s クラスターを迅速にデプロイする
 Kubernetes 高可用性クラスターバイナリのデプロイメント (1) ホストの準備とロードバランサーのインストール
 Kubernetes 高可用性クラスターバイナリのデプロイメント (2) ETCD クラスターのデプロイメント
 Kubernetes 高可用性クラスターバイナリのデプロイメント (3) デプロイapi-server
Kubernetes 高可用性クラスターバイナリのデプロイメント (4) kubectl および kube-controller-manager、kube-scheduler のデプロイメント
 Kubernetes 高可用性クラスターバイナリのデプロイメント (5) kubelet、kube-proxy、Calico、CoreDNS
Kubernetes 高可用性クラスターバイナリ導入 (6) Kubernetesクラスタノードの追加

Kubernetes (k8s と呼ばれる) は、2014 年 6 月に Google によってオープンソース化されたコンテナクラスタ管理システムです。Go 言語で開発され、クラウドプラットフォームの複数のホスト上でコンテナ化されたアプリケーションを管理するために使用されます。Kubernetes の目標は、コンテナのデプロイメントアプリケーションはシンプルかつ効率的 Kubernetes は、リソースのスケジューリング、デプロイメント管理、サービス検出、拡張と縮小、監視、メンテナンスなどの完全な機能セットを提供し、自動デプロイメント、拡張のためのプラットフォームとなることを目指していますホストクラスター全体でのアプリケーションコンテナーの操作。Docker、Containerd などを含むさまざまなコンテナツールをサポートします。

1. クラスタ環境の準備

1.1 ホストの計画

ホストのIPアドレス	CPU名	ホスト構成	ホストの役割	ソフトウェアリスト
192.168.10.103	k8s-master1	2C4G	マスター+ワーカー	kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、kube-proxy、docker-ce
192.168.10.104	k8s-master2	2C4G	マスター+ワーカー	kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、kube-proxy、docker-ce
192.168.10.105	k8s-master3	2C4G	マスター+ワーカー	kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubelet、kube-proxy、docker-ce
192.168.10.106	k8s-worker1	2C4G	労働者1	kubelet、kube-proxy、docker-ce
192.168.10.107	k8s-worker2	2C4G	worker2 (スタンバイ動作ノード、クラスター構築後に新しいノードとして参加)	kubelet、kube-proxy、docker-ce
192.168.10.101	ハ1	1C2G	ポンド	ハプロキシ、キープアライブ
192.168.10.102	ハ２	1C2G	ポンド	ハプロキシ、キープアライブ
192.168.10.100	/	/	VIP（仮想IP）

1.2 ソフトウェアのバージョン

ソフトウェアの名前	バージョン	述べる
CentOS7	カーネルバージョン: 5.16
Kubernetes	v1.21.10
etcd	v3.5.2	最新バージョン
キャリコ	v3.19.4	ネットワークプラグイン
コアドンズ	v1.8.4
ドッカーCE	20.10.13	YUMソースのデフォルト
ハプロキシ	5.18	YUMソースのデフォルト
キープアライブ	3.5	YUMソースのデフォルト

1.3 ネットワーク配信

ネットワーク名	ネットワークセグメント	述べる
ノードネットワーク	192.168.10.101/107	クラスターノードネットワーク
サービスネットワーク	10.96.0.0/16	サービスディスカバリの実装に使用されるネットワーク
ポッドネットワーク	10.244.0.0/16

2. クラスターの展開

2.1 ホストの準備

2.1.1 ホスト名の設定

hostnamectl set-hostname xxx

关于主机名参见1.1小节主机规划表

2.1.2 ホストと IP アドレスの解決

cat >> /etc/hosts << EOF
192.168.10.101 ha1
192.168.10.102 ha2
192.168.10.103 k8s-master1
192.168.10.104 k8s-master2
192.168.10.105 k8s-master3
192.168.10.106 k8s-worker1
EOF

2.1.3 ホストのセキュリティ設定

2.1.3.1 ファイアウォールをオフにする

systemctl stop firewalld
systemctl disable firewalld
firewall-cmd --state

2.1.3.2 selinux を閉じる

setenforce 0
sed -ri 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
sestatus

2.1.4 スワップパーティションの設定

swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab
echo "vm.swappiness=0" >> /etc/sysctl.conf
sysctl -p

2.1.5 ホストシステムの時刻同期

安装软件
yum -y install ntpdate

制定时间同步计划任务
crontab -e
0 */1 * * * ntpdate time1.aliyun.com

2.1.6 ホストシステムの最適化

制限の最適化

ulimit -SHn 65535

cat <<EOF >> /etc/security/limits.conf
* soft nofile 655360
* hard nofile 131072
* soft nproc 655350
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimited
EOF

2.1.7 ipvs管理ツールのインストールとモジュールのロード

クラスターノードにインストールします。ロードバランシングノードにはインストールする必要はありません

yum -y install ipvsadm ipset sysstat conntrack libseccomp

所有节点配置ipvs模块，在内核4.19+版本nf_conntrack_ipv4已经改为nf_conntrack， 4.18以下使用nf_conntrack_ipv4即可： 
 
modprobe -- ip_vs 
modprobe -- ip_vs_rr 
modprobe -- ip_vs_wrr 
modprobe -- ip_vs_sh 
modprobe -- nf_conntrack

创建 /etc/modules-load.d/ipvs.conf 并加入以下内容： 
cat >/etc/modules-load.d/ipvs.conf <<EOF 
ip_vs 
ip_vs_lc 
ip_vs_wlc 
ip_vs_rr 
ip_vs_wrr 
ip_vs_lblc 
ip_vs_lblcr 
ip_vs_dh 
ip_vs_sh 
ip_vs_fo 
ip_vs_nq 
ip_vs_sed 
ip_vs_ftp 
ip_vs_sh 
nf_conntrack 
ip_tables 
ip_set 
xt_set 
ipt_set 
ipt_rpfilter 
ipt_REJECT 
ipip 
EOF

设置为开机启动
systemctl enable --now systemd-modules-load.service

ブートの実行に失敗した場合は、次の情報が表示されます。

Job for systemd-modules-load.service failed because the control process exited with error code. See "systemctl status systemd-modules-load.service" and "journalctl -xe" for details.

Failed to find module 'ip_vs_fo'

具体的な理由はカーネルのバージョンの問題ですが、ファイル内の ip_vs_fo を削除してから実行を続けることもできます。

2.1.8 Linux カーネルのアップグレード

すべてのノードにインストールするには、オペレーティングシステムを再起動してカーネルを置き換える必要があります。

[root@localhost ~]# yum -y install perl

[root@localhost ~]# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

[root@localhost ~]# yum -y install https://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm

[root@localhost ~]# yum  --enablerepo="elrepo-kernel"  -y install kernel-ml.x86_64

[root@localhost ~]# grub2-set-default 0

[root@localhost ~]# grub2-mkconfig -o /boot/grub2/grub.cfg

2.1.9 Linux カーネルの最適化

cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
fs.may_detach_mounts = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720

net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 131072
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
EOF

sysctl --system

所有节点配置完内核后，重启服务器，保证重启后内核依旧加载
reboot -h now

重启后查看结果：
lsmod | grep --color=auto -e ip_vs -e nf_conntrack

2.1.10 その他のツールのインストール（オプション）

yum install wget jq psmisc vim net-tools telnet yum-utils device-mapper-persistent-data lvm2 git lrzsz -y

2.2 ロードバランサの準備

2.2.1 haproxy と keepalived をインストールする

2 台の負荷分散サーバーにインストールする

yum -y install haproxy keepalived

2.2.2 HAProxy 構成

cat >/etc/haproxy/haproxy.cfg<<"EOF"
global
 maxconn 2000
 ulimit-n 16384
 log 127.0.0.1 local0 err
 stats timeout 30s

defaults
 log global
 mode http
 option httplog
 timeout connect 5000
 timeout client 50000
 timeout server 50000
 timeout http-request 15s
 timeout http-keep-alive 15s

frontend monitor-in
 bind *:33305
 mode http
 option httplog
 monitor-uri /monitor

frontend k8s-master
 bind 0.0.0.0:6443
 bind 127.0.0.1:6443
 mode tcp
 option tcplog
 tcp-request inspect-delay 5s
 default_backend k8s-master

backend k8s-master
 mode tcp
 option tcplog
 option tcp-check
 balance roundrobin #负载均衡策略
 default-server inter 10s downinter 5s rise 2 fall 2 slowstart 60s maxconn 250 maxqueue 256 weight 100
 server  k8s-master1  192.168.10.103:6443 check
 server  k8s-master2  192.168.10.104:6443 check
 server  k8s-master3  192.168.10.105:6443 check
EOF

2.2.3 キープアライブ

マスター/スレーブ構成が矛盾していることに注意してください。

KeepAlived は主に haproxy を監視します

ha1:

cat >/etc/keepalived/keepalived.conf<<"EOF"
! Configuration File for keepalived
global_defs {
    
    
   router_id LVS_DEVEL
script_user root
   enable_script_security
}
vrrp_script chk_apiserver {
    
    
   script "/etc/keepalived/check_apiserver.sh"
   interval 5
   weight -5
   fall 2 
rise 1
}
vrrp_instance VI_1 {
    
    
   state MASTER #指定主节点
   interface eth0 #网卡
   mcast_src_ip 192.168.10.101 #本机ip
   virtual_router_id 51
   priority 100 #优先级
   advert_int 2
   authentication {
    
    
       auth_type PASS
       auth_pass K8SHA_KA_AUTH
   }
   virtual_ipaddress {
    
    
       192.168.10.100 #虚拟ip 主节点和备份节点一样的
   }
   track_script {
    
    
      chk_apiserver #通过脚本实现监控
   }
}
EOF

ha2:

cat >/etc/keepalived/keepalived.conf<<"EOF"
! Configuration File for keepalived
global_defs {
    
    
   router_id LVS_DEVEL
script_user root
   enable_script_security
}
vrrp_script chk_apiserver {
    
    
   script "/etc/keepalived/check_apiserver.sh"
  interval 5
   weight -5
   fall 2 
rise 1
}
vrrp_instance VI_1 {
    
    
   state BACKUP
   interface eth0
   mcast_src_ip 192.168.10.102
   virtual_router_id 51
   priority 99
   advert_int 2
   authentication {
    
    
       auth_type PASS
       auth_pass K8SHA_KA_AUTH
   }
   virtual_ipaddress {
    
    
       192.168.10.100
   }
   track_script {
    
    
      chk_apiserver
   }
}
EOF

2.2.4 ヘルスチェックスクリプト

ha1 と ha2 の両方を構成する必要があります (同じ)

cat > /etc/keepalived/check_apiserver.sh <<"EOF"
#!/bin/bash
err=0 #定义变量
for k in $(seq 1 3)
do
   check_code=$(pgrep haproxy) #检查haproxy进程
   if [[ $check_code == "" ]]; then
       err=$(expr $err + 1)
       sleep 1
       continue
   else
       err=0
       break
   fi
done

if [[ $err != "0" ]]; then
   echo "systemctl stop keepalived"
   /usr/bin/systemctl stop keepalived
   exit 1
else
   exit 0
fi
EOF

chmod +x /etc/keepalived/check_apiserver.sh

2.2.5 サービスを開始して確認する

systemctl daemon-reload
systemctl enable --now haproxy
systemctl enable --now keepalived

ip address show

ss -anput | grep ":6443"

http://192.168.10.101:33305/モニター

Kubernetes 高可用性クラスターのバイナリ展開 (1) ホストの準備とロードバランサーのインストール

1. クラスタ環境の準備

1.1 ホストの計画

1.2 ソフトウェアのバージョン

1.3 ネットワーク配信

2. クラスターの展開

2.1 ホストの準備

2.1.1 ホスト名の設定

2.1.2 ホストと IP アドレスの解決

2.1.3 ホストのセキュリティ設定

2.1.3.1 ファイアウォールをオフにする

2.1.3.2 selinux を閉じる

2.1.4 スワップパーティションの設定

2.1.5 ホストシステムの時刻同期

2.1.6 ホストシステムの最適化

2.1.7 ipvs管理ツールのインストールとモジュールのロード

2.1.8 Linux カーネルのアップグレード

2.1.9 Linux カーネルの最適化

2.1.10 その他のツールのインストール（オプション）

2.2 ロードバランサの準備

2.2.1 haproxy と keepalived をインストールする

2.2.2 HAProxy 構成

2.2.3 キープアライブ

2.2.4 ヘルスチェックスクリプト

2.2.5 サービスを開始して確認する

おすすめ

Kubernetes 高可用性クラスターのバイナリ展開 (1) ホストの準備とロード バランサーのインストール

1. クラスタ環境の準備

1.1 ホストの計画

1.2 ソフトウェアのバージョン

1.3 ネットワーク配信

2. クラスターの展開

2.1 ホストの準備

2.1.1 ホスト名の設定

2.1.2 ホストと IP アドレスの解決

2.1.3 ホストのセキュリティ設定

2.1.3.1 ファイアウォールをオフにする

2.1.3.2 selinux を閉じる

2.1.4 スワップパーティションの設定

2.1.5 ホストシステムの時刻同期

2.1.6 ホストシステムの最適化

2.1.7 ipvs管理ツールのインストールとモジュールのロード

2.1.8 Linux カーネルのアップグレード

2.1.9 Linux カーネルの最適化

2.1.10 その他のツールのインストール（オプション）

2.2 ロードバランサの準備

2.2.1 haproxy と keepalived をインストールする

2.2.2 HAProxy 構成

2.2.3 キープアライブ

2.2.4 ヘルスチェックスクリプト

2.2.5 サービスを開始して確認する

おすすめ

Kubernetes 高可用性クラスターのバイナリ展開 (1) ホストの準備とロードバランサーのインストール