KUBE-apiserverクラスタサービスのインストール

その他 2019-12-05 22:10:11 訪問数: null

ディレクトリ



記事に頼る次の操作

KUBE-apiserver証明書の作成

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
cat > kubernetes-csr.json <<EOF
{
  "CN": "kubernetes",
  "hosts": [
    "127.0.0.1",
    "10.0.20.10",
    "10.0.20.11",
    "10.0.20.12",
    "10.0.20.13",
    "vip.k8s.com",
    "node01.k8s.com",
    "node02.k8s.com",
    "node03.k8s.com",
    "10.254.0.1",
    "kubernetes",
    "kubernetes.default",
    "kubernetes.default.svc",
    "kubernetes.default.svc.cluster",
    "kubernetes.default.svc.cluster.local."
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "4Paradigm"
    }
  ]
}
EOF

#需要将集群的所有IP及VIP添域名加进去
#如果要添加注意最后的逗号，不要忘记添加，否则下一步报错

ホストフィールドには、ドメイン名のリストを指定し、IPが証明書を使用する権限を与え、ここでマスターノードIPは、IPおよびドメインネームサービスをkubernetes

kubernetes serviceIP apiserverが自動的に作成され、一般的に最初のIP -service-クラスタ-IP-rangeパラメータは、ネットワークセグメントを指定します

$ kubectl get svc kubernetes
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.254.0.1           443/TCP   31d

証明書と秘密鍵を生成します

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
cfssl gencert -ca=/opt/k8s/work/ca.pem \
    -ca-key=/opt/k8s/work/ca-key.pem \
    -config=/opt/k8s/work/ca-config.json \
    -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes
ls kubernetes*pem

生成された証明書と秘密鍵ファイルは、すべてのマスター・ノードにコピーされます

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "mkdir -p /etc/kubernetes/cert"
    scp kubernetes*.pem root@${node_ip}:/etc/kubernetes/cert/
  done

暗号化された設定ファイルを作成します。

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
cat > encryption-config.yaml <<EOF
kind: EncryptionConfig
apiVersion: v1
resources:
  - resources:
      - secrets
    providers:
      - aescbc:
          keys:
            - name: key1
              secret: ${ENCRYPTION_KEY}
      - identity: {}
EOF

設定ファイルは暗号化されたマスター・ノードの/ etc / kubernetesディレクトリにコピーされます

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    scp encryption-config.yaml root@${node_ip}:/etc/kubernetes/
  done

監査ポリシーファイルを作成します。

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
cat > audit-policy.yaml <<EOF
apiVersion: audit.k8s.io/v1beta1
kind: Policy
rules:
  # The following requests were manually identified as high-volume and low-risk, so drop them.
  - level: None
    resources:
      - group: ""
        resources:
          - endpoints
          - services
          - services/status
    users:
      - 'system:kube-proxy'
    verbs:
      - watch
  - level: None
    resources:
      - group: ""
        resources:
          - nodes
          - nodes/status
    userGroups:
      - 'system:nodes'
    verbs:
      - get
  - level: None
    namespaces:
      - kube-system
    resources:
      - group: ""
        resources:
          - endpoints
    users:
      - 'system:kube-controller-manager'
      - 'system:kube-scheduler'
      - 'system:serviceaccount:kube-system:endpoint-controller'
    verbs:
      - get
      - update
  - level: None
    resources:
      - group: ""
        resources:
          - namespaces
          - namespaces/status
          - namespaces/finalize
    users:
      - 'system:apiserver'
    verbs:
      - get
  # Don't log HPA fetching metrics.
  - level: None
    resources:
      - group: metrics.k8s.io
    users:
      - 'system:kube-controller-manager'
    verbs:
      - get
      - list
  # Don't log these read-only URLs.
  - level: None
    nonResourceURLs:
      - '/healthz*'
      - /version
      - '/swagger*'
  # Don't log events requests.
  - level: None
    resources:
      - group: ""
        resources:
          - events
  # node and pod status calls from nodes are high-volume and can be large, don't log responses for expected updates from nodes
  - level: Request
    omitStages:
      - RequestReceived
    resources:
      - group: ""
        resources:
          - nodes/status
          - pods/status
    users:
      - kubelet
      - 'system:node-problem-detector'
      - 'system:serviceaccount:kube-system:node-problem-detector'
    verbs:
      - update
      - patch
  - level: Request
    omitStages:
      - RequestReceived
    resources:
      - group: ""
        resources:
          - nodes/status
          - pods/status
    userGroups:
      - 'system:nodes'
    verbs:
      - update
      - patch
  # deletecollection calls can be large, don't log responses for expected namespace deletions
  - level: Request
    omitStages:
      - RequestReceived
    users:
      - 'system:serviceaccount:kube-system:namespace-controller'
    verbs:
      - deletecollection
  # Secrets, ConfigMaps, and TokenReviews can contain sensitive & binary data,
  # so only log at the Metadata level.
  - level: Metadata
    omitStages:
      - RequestReceived
    resources:
      - group: ""
        resources:
          - secrets
          - configmaps
      - group: authentication.k8s.io
        resources:
          - tokenreviews
  # Get repsonses can be large; skip them.
  - level: Request
    omitStages:
      - RequestReceived
    resources:
      - group: ""
      - group: admissionregistration.k8s.io
      - group: apiextensions.k8s.io
      - group: apiregistration.k8s.io
      - group: apps
      - group: authentication.k8s.io
      - group: authorization.k8s.io
      - group: autoscaling
      - group: batch
      - group: certificates.k8s.io
      - group: extensions
      - group: metrics.k8s.io
      - group: networking.k8s.io
      - group: policy
      - group: rbac.authorization.k8s.io
      - group: scheduling.k8s.io
      - group: settings.k8s.io
      - group: storage.k8s.io
    verbs:
      - get
      - list
      - watch
  # Default level for known APIs
  - level: RequestResponse
    omitStages:
      - RequestReceived
    resources:
      - group: ""
      - group: admissionregistration.k8s.io
      - group: apiextensions.k8s.io
      - group: apiregistration.k8s.io
      - group: apps
      - group: authentication.k8s.io
      - group: authorization.k8s.io
      - group: autoscaling
      - group: batch
      - group: certificates.k8s.io
      - group: extensions
      - group: metrics.k8s.io
      - group: networking.k8s.io
      - group: policy
      - group: rbac.authorization.k8s.io
      - group: scheduling.k8s.io
      - group: settings.k8s.io
      - group: storage.k8s.io
  # Default level for all other requests.
  - level: Metadata
    omitStages:
      - RequestReceived
EOF

監査ポリシーファイルの発行：

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    scp audit-policy.yaml root@${node_ip}:/etc/kubernetes/audit-policy.yaml
  done

バイナリ配布KUBE-apiserver

すべてのマスターノードに配布KUBE-apiserverバイナリ

cd /opt/k8s/work/
source /opt/k8s/bin/environment.sh
for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    scp kubernetes/server/bin/kube-apiserver root@${node_ip}:/opt/k8s/bin/
  done

使用にフォローアップ訪問メトリクス - サーバ証明書を作成します。

証明書署名要求を作成します。

cat > proxy-client-csr.json <<EOF
{
  "CN": "aggregator",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "4Paradigm"
    }
  ]
}
EOF
  • CN名は、そうでない場合、彼らは不十分なアクセス許可を求めるメッセージが表示されます、で--requestheader許容-名に引数KUBE-apiserverする必要がありますフォローアップ訪問メトリックを。

証明書と秘密鍵を生成します。

cfssl gencert -ca=/etc/kubernetes/cert/ca.pem \
  -ca-key=/etc/kubernetes/cert/ca-key.pem  \
  -config=/etc/kubernetes/cert/ca-config.json  \
  -profile=kubernetes proxy-client-csr.json | cfssljson -bare proxy-client
ls proxy-client*.pem

すべてのノードに証明書と秘密鍵の生成マスターファイルをコピーします。

source /opt/k8s/bin/environment.sh
for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    scp proxy-client*.pem root@${node_ip}:/etc/kubernetes/cert/
  done

KUBE-apiserverにsystemdユニットテンプレートファイルの作成

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
cat > kube-apiserver.service.template <<EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target

[Service]
WorkingDirectory=${K8S_DIR}/kube-apiserver
ExecStart=/opt/k8s/bin/kube-apiserver \\
  --advertise-address=##NODE_IP## \\
  --default-not-ready-toleration-seconds=360 \\
  --default-unreachable-toleration-seconds=360 \\
  --feature-gates=DynamicAuditing=true \\
  --max-mutating-requests-inflight=2000 \\
  --max-requests-inflight=4000 \\
  --default-watch-cache-size=200 \\
  --delete-collection-workers=2 \\
  --encryption-provider-config=/etc/kubernetes/encryption-config.yaml \\
  --etcd-cafile=/etc/kubernetes/cert/ca.pem \\
  --etcd-certfile=/etc/kubernetes/cert/kubernetes.pem \\
  --etcd-keyfile=/etc/kubernetes/cert/kubernetes-key.pem \\
  --etcd-servers=${ETCD_ENDPOINTS} \\
  --bind-address=##NODE_IP## \\
  --secure-port=6443 \\
  --tls-cert-file=/etc/kubernetes/cert/kubernetes.pem \\
  --tls-private-key-file=/etc/kubernetes/cert/kubernetes-key.pem \\
  --insecure-port=0 \\
  --audit-dynamic-configuration \\
  --audit-log-maxage=15 \\
  --audit-log-maxbackup=3 \\
  --audit-log-maxsize=100 \\
  --audit-log-truncate-enabled \\
  --audit-log-path=${K8S_DIR}/kube-apiserver/audit.log \\
  --audit-policy-file=/etc/kubernetes/audit-policy.yaml \\
  --profiling \\
  --anonymous-auth=false \\
  --client-ca-file=/etc/kubernetes/cert/ca.pem \\
  --enable-bootstrap-token-auth \\
  --requestheader-allowed-names="aggregator" \\
  --requestheader-client-ca-file=/etc/kubernetes/cert/ca.pem \\
  --requestheader-extra-headers-prefix="X-Remote-Extra-" \\
  --requestheader-group-headers=X-Remote-Group \\
  --requestheader-username-headers=X-Remote-User \\
  --service-account-key-file=/etc/kubernetes/cert/ca.pem \\
  --authorization-mode=Node,RBAC \\
  --runtime-config=api/all=true \\
  --enable-admission-plugins=NodeRestriction \\
  --allow-privileged=true \\
  --apiserver-count=3 \\
  --event-ttl=168h \\
  --kubelet-certificate-authority=/etc/kubernetes/cert/ca.pem \\
  --kubelet-client-certificate=/etc/kubernetes/cert/kubernetes.pem \\
  --kubelet-client-key=/etc/kubernetes/cert/kubernetes-key.pem \\
  --kubelet-https=true \\
  --kubelet-timeout=10s \\
  --proxy-client-cert-file=/etc/kubernetes/cert/proxy-client.pem \\
  --proxy-client-key-file=/etc/kubernetes/cert/proxy-client-key.pem \\
  --service-cluster-ip-range=${SERVICE_CIDR} \\
  --service-node-port-range=${NODE_PORT_RANGE} \\
  --logtostderr=true \\
  --v=2
Restart=on-failure
RestartSec=10
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF
  • --advertise-address：IPのapiserver外部円（kubernetesサービスのバックエンドノードIP）。
  • --default-*-toleration-seconds：異常なノードに関連した閾値を設定します。
  • --max-*-requests-inflight：要求に関連付けられた最大しきい値。
  • --etcd-*：アクセスは、証明書とetcdサーバアドレスをetcd。
  • --experimental-encryption-provider-config：秘密etcd構成の暗号化を指定します。
  • --bind-address：HTTPSはIPを聞いて、それはそれ以外の場合は、セキュアポート6443の外にアクセスすることができない、127.0.0.1にすることはできません。
  • --secret-port：HTTPSポートをリスニング。
  • --insecure-port=0：クローズモニター非セキュアHTTPポート（8080）;
  • --tls-*-file：証明書はapiserverの使用を指定し、CA秘密鍵ファイル。
  • --audit-*：コンフィギュレーション監査戦略及び監査ログファイルに関連するパラメータ。
  • --client-ca-file：認証クライアント（KUEコントローラマネージャ、KUBE-スケジューラ、kubelet、KUBEプロキシなど）証明書を要求することによって行います。
  • --enable-bootstrap-token-auth：Kubeletは、トークン認証を有効にブートストラップ。
  • --requestheader-*：KUBE-apiserverプロキシクライアント＆HPAに関連するアグリゲータ層構成パラメータ要します。
  • --requestheader-client-ca-file：メトリックアグリゲータで使用有効になっている。--proxy-クライアント証明書ファイルと証明書--proxy-クライアント・キー・ファイル指定に署名するための、
  • --requestheader-allowed-names：空にすることはできません、コンマは「アグリゲータ」にここで設定した値CN名--proxy-クライアント証明書ファイルの証明書を、分離しました;
  • --service-account-key-file：签名 ServiceAccount Token 的公钥文件，kube-controller-manager 的 * *--service-アカウント秘密鍵-file`秘密鍵ファイルを指定し、ペアで使用両方;
  • --runtime-config=api/all=true：そのような自動スケーリング/ v2alpha1などのAPI、すべてのバージョンを有効にします。
  • --authorization-mode=Node,RBAC、--anonymous-auth=false： 不正な要求に対してオープンノードとRBAC認可モデル、;
  • --enable-admission-plugins：デフォルトのプラグインで、いくつかのオフを有効にします。
  • --allow-privileged：特権コンテナの実行権限を実行します。
  • --apiserver-count=3：Apiserverインスタンスの数を指定。
  • --event-ttl：時間指定されたイベントを保存します。
  • --kubelet-*：ヒント権限のないユーザーは、対応する証明書（kubernetes上記*の.pem証明書の利用者kubernetes）RBACユーザー定義のルール、または訪問kubeletのAPIを必要とする、指定された場合は、HTTPSを使用アクセスkubeletのAPI。
  • --proxy-client-*：apiserverメトリクス・サーバーアクセスの資格情報を使用します。
  • --service-cluster-ip-range： サービスクラスタのIPアドレスを指定した期間。
  • --service-node-port-range： 指定されたポート範囲NodePort。

マシンがKUBE-apiserverのKUBE-プロキシを実行していない場合は、--enable-アグリゲータルーティング= trueパラメータを追加する必要があります。

--requestheader-XXX-関連するパラメータについては、以下を参照してください。

  • https://github.com/kubernetes-incubator/apiserver-builder/blob/master/docs/concepts/auth.md
  • https://docs.bitnami.com/kubernetes/how-to/configure-autoscaling-custom-metrics/

注意：

  1. requestheader-クライアント-CA-fileはCA証明書を指定し、クライアントの認証とサーバー認証を持っている必要があります。
  2. --requestheader-許可-名前場合は、空に、そして--proxy-クライアント証明書ファイルされていないメトリックの証明書のCN名は不可-名で、その後の視聴ノード障害またはポッド、ヒント：
[root@zhangjun-k8s01 1.8+]# kubectl top nodes
Error from server (Forbidden): nodes.metrics.k8s.io is forbidden: User "aggregator" cannot list resource "nodes" in API group "metrics.k8s.io" at the cluster scope

各ノードのKUBE-apiserverにsystemd単位ファイルを作成して配布

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for (( i=0; i < 3; i++ ))
  do
    sed -e "s/##NODE_NAME##/${NODE_NAMES[i]}/" -e "s/##NODE_IP##/${NODE_IPS[i]}/" kube-apiserver.service.template > kube-apiserver-${NODE_IPS[i]}.service 
  done
ls kube-apiserver*.service
  • NODE_NAMESと同じ長さのbashの配列をNODE_IPS、それぞれ、ノード名およびIPに対応します。

分布生成にsystemdユニットファイル：

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    scp kube-apiserver-${node_ip}.service root@${node_ip}:/etc/systemd/system/kube-apiserver.service
  done
  • KUBE-apiserver.serviceにファイルの名前を変更します。

スタートapiserver

source /opt/k8s/bin/environment.sh
for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "mkdir -p ${K8S_DIR}/kube-apiserver"
    ssh root@${node_ip} "systemctl daemon-reload && systemctl enable kube-apiserver && systemctl restart kube-apiserver"
  done

検査サービスは正常です

for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl status kube-apiserver |grep 'Active:'"
  done

次のように出力結果があります

[root@node01 work]# for node_ip in ${MASTER_IPS[@]}
>   do
>     echo ">>> ${node_ip}"
>     ssh root@${node_ip} "systemctl status kube-apiserver |grep 'Active:'"
>   done
>>> 10.0.20.11
   Active: active (running) since Thu 2019-12-05 14:29:01 CST; 29s ago
>>> 10.0.20.12
   Active: active (running) since Thu 2019-12-05 14:29:27 CST; 3s ago
>>> 10.0.20.13
   Active: active (running) since Thu 2019-12-05 14:29:27 CST; 3s ago

ビューポートのポートapiserver開始：

for node_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "netstat -lntup|grep kube-apiserver |grep '6443'"
  done
[root@node01 work]# for node_ip in ${MASTER_IPS[@]}
>   do
>     echo ">>> ${node_ip}"
>     ssh root@${node_ip} "netstat -lntup|grep kube-apiserver |grep '6443'"
>   done
>>> 10.0.20.11
tcp        0      0 10.0.20.11:6443         0.0.0.0:*               LISTEN      2891/kube-apiserver 
>>> 10.0.20.12
tcp        0      0 10.0.20.12:6443         0.0.0.0:*               LISTEN      2391/kube-apiserver 
>>> 10.0.20.13
tcp        0      0 10.0.20.13:6443         0.0.0.0:*               LISTEN      2436/kube-apiserver

etcd書かKUBE-apiserver印刷データ

source /opt/k8s/bin/environment.sh
ETCDCTL_API=3 etcdctl \
    --endpoints=${ETCD_ENDPOINTS} \
    --cacert=/opt/k8s/work/ca.pem \
    --cert=/opt/k8s/work/etcd.pem \
    --key=/opt/k8s/work/etcd-key.pem \
    get /registry/ --prefix --keys-only

おすすめ

転載: www.cnblogs.com/winstom/p/11992136.html
おすすめ
大規模な言語モデルに基づくオープンソースのナレッジベースの質問と回答システムである MaxKB GitHub Star の数が 5,000 を超えました。
ランキング
短线选股的一种方法
Javaクライアントでのユーバーのリズムワークフローで睡眠時間をキャンセルし、再スケジュール
CALIPSOデータバッチダウンロード方式
LeetCode アルゴリズム再帰クラス - ソードはオファー 26 を参照します。 ツリーの部分構造
HTMLのインポート外部CSS、JavaScriptの論文
PostgreSQL 13.1、12.5、11.10、10.15、9.6.20、および9.5.24がリリースされました
アップルは、エラーメッセージがポテトに接続されていた実行する方法ポテトポテトショーをダウンロードすることができません
あなたは空腹で突然電話を切っていますか？これはテクノロジーの裏側ですか、それともテスト用の銃ですか？
VIMエディタのヒント
動的計画法の最長共通部分列（LCS）
アーカイブ
もっと
2024-05-13(8)
2024-05-12(27)
2024-05-11(31)
2024-05-10(33)
2024-05-09(30)
2024-05-08(18)
2024-05-07(34)
2024-05-06(6)
2024-05-05(0)
2024-05-04(18)

コードワールド

© 2018 codetd.com