K8s: Velero を使用したクラスターのバックアップとリカバリ

Velero の簡単な紹介
Velero は、k8s の安全なバックアップとリカバリ、災害復旧の実行、Kubernetes クラスタ リソースと永続ボリュームの移行に使用される vmware オープン ソース ツールです。

ここに画像の説明を挿入します

ヴェレロにできること:

クラスターをバックアップし、紛失した場合には復元します。
クラスターのリソースを他のクラスターに移行します。
実稼働クラスターを開発クラスターとテストクラスターにコピーします。
Velero は 2 つの部分で構成されます。

クラスター上で実行されているサーバー (Velero サーバー)
ローカルで実行されているコマンド ライン クライアント (velero cli)
etcd の組み込みバックアップ/復元の代わりに Velero を使用するのが適切なのはどのような場合ですか?
Velero と etcd の間でスナップショット バックアップを選択するにはどうすればよいですか?

個人的には、
etcd スナップショット バックアップは、より深刻なクラスター災害に適していると考えています。たとえば、すべての etcd クラスター内のすべてのノードがダウンし、スナップショット ファイルが失われたり破損したりします。k8s クラスターがハングアップした場合、etcd バックアップとリカバリーは迅速かつ成功するリカバリー方法です。Velero のリカバリーでは、他のコンポーネントに依存し、クラスターが稼働していることを確認する必要があります。
Velero は、クラスターの移行や、名前空間ベースのバックアップなどの k8s サブセットのバックアップとリカバリに適しています。ネームスペースが誤って削除され、YAML ファイルがバックアップされていない場合は、Velero を使用してすぐに復元できます。複数の API リソース オブジェクトを含むシステム アップグレードは、アップグレード前にバックアップでき、アップグレードが失敗した場合は、Velero を使用して迅速に復元できます。
上記の Velero github からの回答:
Etcd のバックアップ/復元ツールは、単一の etcd クラスター内のデータ損失から回復するのに最適です。たとえば、etcd istelf をアップグレードする前に etcd をバックアップすることをお勧めします。より複雑な Kubernetes クラスターのバックアップとリカバリの管理には、一般に Velero の方が優れたアプローチであると考えられます。これにより、不安定なクラスターを破棄し、Kubernetes リソースとデータを新しいクラスターに復元できます。これは、etcd をバックアップして復元するだけでは簡単に実現できません。

Velero に役立つケースの例:

etcd へのアクセス権がない（たとえば、GKE 上で実行している）
Kubernetes リソースと永続ボリュームの状態をバックアップする
クラスターの移行
Kubernetes リソースのサブセットをバックアップ
する 複数の etcd クラスターに保存されている Kubernetes リソースをバックアップする（たとえば、カスタム apiserver)
ディザスター リカバリーとリカバリーの原則の簡単な紹介。
この部分については、公式 Web サイトで学習することをお勧めします。ここでは簡単に説明します。

すべての Velero 操作 (オンデマンド バックアップ、スケジュールされたバックアップ、復元) はカスタム リソースであり、Kubernetes カスタム リソース定義 (CRD) を使用して定義され、etcd に保存されます。Velero には、バックアップ、復元、およびすべての関連操作を実行するためのカスタム リソースを処理するコントローラーも含まれています。

バックアップ ワークフロー
velero Backup create test-backup を実行すると、
Velero クライアントは Kubernetes API サーバーを呼び出してバックアップ オブジェクトを作成します。
BackupController は新しいオブジェクト Backup を通知し、検証を実行します。
BackupController はバックアップ プロセスを開始します。API サーバーのリソースにクエリを実行して、バックアップするデータを収集します。
オブジェクト ストレージ サービス (AWS S3 などの BackupController) を呼び出して、バックアップ ファイルをアップロードします。
デフォルトでは、velero Backup create は永続ボリュームのディスク スナップショットを取得します。追加のフラグを指定してスナップショットを調整できます。velero Backup create --help を実行して、使用可能なフラグを確認します。スナップショットは、オプション --snapshot-volumes=false を使用して無効にできます。

ここに画像の説明を挿入します

リカバリ ワークフロー
velero リストア作成を実行すると、次のようになります。
Velero クライアントは、Kubernetes API サーバーを呼び出して Restore オブジェクトを作成します。
RestoreController は、新しい Restore オブジェクトを通知し、検証を実行します。
オブジェクトストレージサービスのRestoreControllerからバックアップ情報を取得します。次に、バックアップされたリソースに対して前処理を実行して、新しいクラスターで実行できることを確認します。たとえば、バックアップされた API バージョンを使用して、復元されたリソースがターゲット クラスター上で実行できることを確認します。
RestoreController は復元プロセスを開始し、対象となる各リソースを一度に復元します。
デフォルトでは、Velero は非破壊リカバリを実行します。つまり、ターゲット クラスタ上のデータは削除されません。バックアップ内のリソースがターゲット クラスターにすでに存在する場合、Velero はそのリソースをスキップします。–existing-resource-policy 回復フラグを使用する代わりに、更新ポリシーを使用するように Velero を構成できます
。このフラグが更新に設定されている場合、Velero はターゲット クラスター内の既存のリソースをバックアップ内のリソースと一致するように更新しようとします。

インストールとダウンロード
クラスターの互換性の問題を確認します。

https://github.com/vmware-tanzu/velero#velero-compatibility-matrix

現在のクラスター環境

┌──[[email protected]]-[~]
└─$kubectl version --output=json
{
“clientVersion”: {
“major”: “1”,
“minor”: “25”,
“gitVersion”: “v1.25.1”,
“gitCommit”: “e4d4e1ab7cf1bf15273ef97303551b279f0920a9”,
“gitTreeState”: “clean”,
“buildDate”: “2022-09-14T19:49:27Z”,
“goVersion”: “go1.19.1”,
“compiler”: “gc”,
“platform”: “linux/amd64”
},
“kustomizeVersion”: “v4.5.7”,
“serverVersion”: {
“major”: “1”,
“minor”: “25”,
“gitVersion”: “v1.25.1”,
“gitCommit”: “e4d4e1ab7cf1bf15273ef97303551b279f0920a9”,
“gitTreeState”: “clean”,
“buildDate”: “2022-09-14T19:42:30Z”,
“goVersion”: “go1.19.1”,
“compiler”: “gc”,
“platform”: “linux/amd64”
}
}
インストール ファイルのダウンロード:

https://github.com/vmware-tanzu/velero/releases/tag/v1.10.1-rc.1

https://github.com/vmware-tanzu/velero/releases/download/v1.10.1-rc.1/velero-v1.10.1-rc.1-linux-amd64.tar.gz

クライアント
クライアントのインストール:

┌──[[email protected]]-[~/ansible/velero]
└─ $わかりました\_--いいえ\_-チェックする\_\_-証明書HTTPS\_\_\_\_\_\_\_\_\_://github.\_com/vmware\_\_\_\_\_-タンズ/ヴェレロ/リリース/ダウンロード/v\mathrm{1.10.1}\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_-rc.1/ヴェレロ\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64.tar.gz┌──[root@vms100.liruilongs.\_github.\_いお]\_-[/ansible/velero]└─$ ls
velero-v1.10.1-rc.1-linux-$amd64.tar.gz$$┌─$$[$$[email\; protected]$$]$
- $~$$[$
└─$ター\_\_-zxvfvelero\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64.tar.ジーズヴェレロ\_\_\_\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64/ライセンスヴェレロ\_\_\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64/エクスアンプルエス/。DS{}_{}トーレヴェレロ\_\_\_\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64/例/README。\_\_\_エム・ディ・ヴェ・レ・ロ-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64/エクスサンプル/ミニオリーブレロ\_\_\_\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64/例/ミニオ/00\_\_\_-ミニオー\_-展開。\_\_\_\_\_\_\_あなたはレベルエロです\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64/サンプル/nginx\_\_\_\_-ppに私はそこにいました\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64/サンプル/nginx\_\_\_\_-pp/README。\_エム・ディ・ヴェ・レ・ロ-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64/サンプル/nginx\_\_\_\_-pp/base。\_\_あなたはレベルエロです\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64/サンプル/nginx\_\_\_\_-pp/with\_\_-PV。\_あなたはレベルエロです\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64/velero┌──[root@vms100.liruilongs.github.\_いお]\_-[/ansible/velero]└─$ cd velero-v1.10.1-rc.1-linux-amd64/
┌──[[email protected]]-[~/ansible/ velero/velero-v1.10.1-rc.1-linux-amd64]
└─$cpvelero/usr/local/bin/┌──[root@vms100.liruilongs.\_github.\_いお]\_-[/アンシブル/ヴェレロ/ヴェレロ\_\_\_\_\_\_\_\_\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64]└─$ velero version
クライアント:
バージョン: v1.10.1-rc.1
Git commit: e4d2a83917cd848e5f4e6ebc445fd3d262de10fa
<サーバー バージョンの取得エラー: バージョン "velero.io/v1" の種類 "ServerStatusRequest" に一致しません>構成
コマンドの完了

┌──[[email protected]]-[~/ansible/velero/velero-v1.10.1-rc.1-linux-amd64]
└─ $レベルエロコンプリティオンバス\_\_\_\_\_\_\_\_>/etc/bash\_\_\_{\_}_{}完全。\_\_\_\_\_\_\_d/velero┌──[root@vms100.liruilongs.\_\_github.\_いお]\_-[/アンシブル/ヴェレロ/ヴェレロ\_\_\_\_\_\_\_\_\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64]└─$ velero client config set colorized=false
サーバーのインストール
サーバーのインストール中に、バックアップ データ ファイルを保存するためにオブジェクト ストレージ システム Minio をインストールする必要があります。

credentials-velero minio に接続するための Velero ディレクトリに Velero 固有の認証情報ファイルを作成します。

┌──[[email protected]]-[~/ansible/velero/velero-v1.10.1-rc.1-linux-amd64]
└─ $v認証情報\_\_\_\_\_\_\_-velero┌──[root@vms100.liruilongs.\_\_github.\_いお]\_-[/アンシブル/ヴェレロ/ヴェレロ\_\_\_\_\_\_\_\_\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64]└─$ cat credentials-velero
[デフォルト]
aws_access_key_id = minio
aws_secret_access_key = minio123
サーバーとローカルストレージサービスを開始します。

ローカル ストレージ サービスの展開
次の YAML ファイルは、Velero ディレクトリにあり、上記のクライアント インストール パッケージでは、この YAML ファイルを解凍すると表示されます。

この YAML ファイルは、クラスター内からアクセスできる Minio インスタンスをデプロイするために使用されます。また、Minion でバックアップに必要なバケットを作成するジョブを開始するには、Minion サービスをクラスターの外部に公開する必要があります。ログにアクセスして velero description コマンドを実行するには、外部アクセスが必要です。

yaml ファイルを変更する ここでは主に Service を NodePort に変更します。そして、Minion のコンソール アクセス IP を静的に設定します。

┌─[[email protected]]-[~/ansible/velero/velero-v1.10.1-rc.1-linux-amd64]
└─$catexamples/minio/00-minio-deployment。ヤムル

Copyright 2017 Velero の貢献者。

Apache License バージョン 2.0 (「ライセンス」) に基づいてライセンスされています。

ライセンスに準拠する場合を除き、このファイルを使用することはできません。

ライセンスのコピーは次の場所で入手できます。

http://www.apache.org/licenses/LICENSE-2.0

適用される法律で義務付けられている場合または書面による同意がない限り、ソフトウェア

ライセンスに基づいて配布される場合は、「現状のまま」で配布されます。

明示的か黙示的かを問わず、いかなる種類の保証や条件もありません。

特定の言語を管理する権限については、「ライセンス」を参照してください。

ライセンスに基づく制限。

---

apiVersion: v1
種類: 名前空間
メタデータ:
名前: velero

---

apiVersion: apps/v1
種類: デプロイメント
メタデータ:
名前空間: velero
名: minio
ラベル:
コンポーネント: minio仕様
:
戦略:
タイプ: 再作成
セレクター:
matchLabels:
コンポーネント: minio
テンプレート:
メタ
データ: ラベル:
コンポーネント: minio
仕様:
ボリューム:
- 名前: storage
emptyDir: {}
- 名前: config
emptyDir: {}
コンテナ:
- 名前: minio
イメージ: quay.io/minio/minio:
最新の imagePullPolicy: IfNotPresent
引数:
- サーバー
- /storage
- --console-address=:9090
- --config-dir=/config
env:
- 名前: MINIO_ROOT_USER
値: “minio”
- 名前: MINIO_ROOT_PASSWORD
値: “minio123”
ポート:
- コンテナーポート: 9000
- コンテナーポート: 9090
volumeMounts:
- 名前: storage
mountPath: “/storage "
- 名前: config
マウントパス: "/config"

---

apiVersion: v1
種類: サービス
メタデータ:
名前空間: velero
名: minio
ラベル:
コンポーネント: minio
仕様:

実稼働環境には ClusterIP が推奨されます。

ドキュメントに従って必要に応じて NodePort に変更します。

ただし、Minikube などのテスト/トライアル環境で Minio を実行する場合に限ります。

タイプ: NodePort
ポート:
- ポート: 9000
名前: API
ターゲットポート: 9000
プロトコル: TCP
- ポート: 9099
名前: コンソール
ターゲットポート: 9090
プロトコル: TCP
セレクター:
コンポーネント: minio

---

apiVersion: バッチ/v1
種類: ジョブ
メタデータ:
名前空間: velero
名前: minio-setup
ラベル:コンポーネント:
minio
仕様
:
テンプレート: メタデータ:
名前: minio-setup
仕様:
restartPolicy: OnFailure
ボリューム:
- 名前: config
emptyDir: {}
コンテナ:
- 名前: mc
イメージ: minio/mc:latest
imagePullPolicy: IfNotPresent
コマンド:
- /bin/sh
- -c
- “mc --config-dir=/config config host add velero http://minio:9000 minio minio123 && mc --config-dir=/config mb -p velero/velero”
volumeMounts:
- name: config
mountPath: “/config”
注: Minio yaml によって提供される例では、「空のディレクトリ」が使用されています。ノードには、バックアップされるデータを保存するのに十分な空き領域に加えて 1GB の空き領域が必要です。ノードに十分なスペースがない場合は、「空のディレクトリ」の代わりに永続ボリュームを使用するようにサンプル yaml を変更できます。

ここに画像の説明を挿入します

バケット: minioバックアップ場所の設定で作成したバケット名: xxx.xxx.xxx.xxx を minio サーバーの IP アドレスに変更します。
Velero
デプロイメント コマンドをクラスターにデプロイする

velero install
–provider aws
–plugins velero/velero-plugin-for-aws:v1.2.1
–bucket velero
–secret-file ./credentials-velero
–use-volume-snapshots=false
–backup-location-configregion=minio, s3ForcePathStyle=“true”,s3Url=http://minio.velero.svc:9000
プライベートウェアハウスの場合は、YAML ファイルをエクスポートして、アプリケーション用に調整できます。

┌──[[email protected]]-[~/ansible/velero/velero-v1.10.1-rc.1-linux-amd64]
└─$velero install
–provider aws
–plugins velero/velero-plugin-for-aws:v1.2.1
–bucket velero
–secret-file ./credentials-velero
–use-volume-snapshots=false
–backup-location-config region=minio,s3ForcePathStyle=“true”,s3Url=http://minio.velero.svc:9000
–dry-run -o yaml > velero_deploy.yaml
应用部署

┌──[[email protected]]-[~/ansible/velero/velero-v1.10.1-rc.1-linux-amd64]
└─$リクエスト申請\_\_\_\_\_\_-fveler{o}_{}計画を立ててください。カスタムリソース定義/バックアップポジションを使用します。\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_ヴェレロ。\_\_\_私は:リソースカスタムリソース定義の初期/バックアップポジションの作成を試みています。\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_ヴェレロ。\_\_\_私は:テレリソース保護を作成しようとしています.....バックアップステーションロケーション/定義\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_とても\_\_:テレソースのバックアップを作成中です。現在の場所/デフォルトの場所をバックアップしています。\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_:attemptingtocreateresourceclientBackupStorageLocation/default:createdDeployment/velero:地球資源の展開/ヴェレロの構築を目指しています\_\_\_\_\_\_\_\_\_\_\_\_:テラリソース保護の展開/ベロベロの構築を目指しています\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_:作成されたVeleroがインストールされました！\_\_\_\_\_\_\_⛵使用する\_{}^{\text{'}}kubectllogsdepoyment/velero\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_-ないです\_\_\_{\_}^{\prime }toviewthestatus.┌──[root@vms100.liruilongs.github.io]-[/ansible/velero/velero-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64]└─$
デプロイされたジョブにより、バックアップ ファイルのアップロード用に新しいバケットが自動的に作成されます$。$

ここに画像の説明を挿入します

バックアップ
完全バックアップ、部分バックアップ

通常のバックアップ┌──
[[email protected]]-[~/ansible/velero/velero-v1.10.1-rc.1-linux-amd64]
└─$ベロベロバックアップ作成ベロエロ\_\_\_\_\_\_\_\_\_\_\_\_\_-デモバックアップリクエスト「velero」\_\_\_\_\_\_\_\_\_\_\_\_\_\_-demo"submittedsuccessfully.Run‘velerobackupdescribevelero-demo‘or‘velerobackuplogsvelero-demo‘formoredetails.┌──[root@vms100.liruilongs.github.io]-[/ansible/velero/velero-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64]└─$ velero get back velero-demo
名前 ステータス エラー 警告 作成済み 有効期限 ストレージの場所 セレクター
velero-demo InProgress 0 0 2023-01-28 22:18:45 +0800 CST 29d デフォルト
┌──[root@vms100. liruilongs.github.io]-[~/ansible/sailboat/sailboat-v1.10.1-rc.1-linux-amd64]
└─$
値の

┌─[[email protected]]-[~/ansible/velero/velero-v1.10.1-rc.1-linux-amd64]
└─$velero get back velero-demo
名前 ステータス エラー 警告 作成されました期限切れのストレージ場所セレクター
velero-demo 完了 0 0 2023-01-28 22:18:45 +0800 CST 29d デフォルト

ここに画像の説明を挿入します

スケジュールされたバックアップ
毎日午前 0 時に 1 回、スケジュールされたバックアップ。

┌──[[email protected]]-[~/ansible/velero/velero-v1.10.1-rc.1-linux-amd64]
└─ $veleroschhedulecreatek8s\_\_\_\_-バックアップする\_\_\_--スケジュール\_\_\_\_\_\_=「@daily「スケジュール」k8s\_\_\_\_\_\_\_\_\_\_\_-バックアップ"作成は完全に成功しました。┌──[root@vms100.liruilongs.github.i\_\_\_\_\_\_\_\_\_\_\_\_\_お]-[/アンシブル/ヴェレロ/ヴェレロ\_\_\_\_\_\_\_\_\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64]└─$ velero get スケジュール
名前 ステータス 作成されたスケジュール バックアップ TTL 前回のバックアップ セレクター 一時停止
k8s-backup Enabled 2023-01-29 00:11:03 +0800 CST @daily 0s n/a false
恢复
┌──[root@ vms100.liruilongs.github.io]-[~/ansible/velero/velero-v1.10.1-rc.1-linux-amd64]
lux─$発生するエラーの数\_\_\_\_--から\_\_-バックアップエロ\_\_\_\_\_\_\_-「私はそうなる」と祈るのが一番です。\_\_\_\_-デモ\_\_\_-20230129001615"は完全に送信されました。Run\text{'}velerorestoreddescribelero\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_-デモ\_\_\_-20230129001615\text{'}または\text{'}veleroresストアログsvelero\_\_\_\_-デモ\_\_\_-詳細については、20230129001615をご覧ください。\_\_\_┌──[root@vms100.liruilongs.\_\_\_\_\_github.\_いお]\_-[/アンシブル/ヴェレロ/ヴェレロ\_\_\_\_\_\_\_\_\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-AMD64]└─VELEROGETRESTORE$ NAME NAMEバックアップ
ステータス開始エラー開始警告作成セレクター$VELERO\; -$
DEMO-20230129001615 VELERO-DEMO INPROGRESS 2023-01-29 00:16:15 +0800 +0800 CST 0 0 2023-01-2900:16 :15 +0800 CST
┌─[[email protected]]-[~/ansible/velero/velero-v1.10.1-rc.1-linux-amd64]
└─$veleroを取得してストアに名前を付けます。最新の状態に完了しました。エラーの警告が表示されます。veleroを選択します。\_\_\_\_\_\_\_\_\_\_-デモ\_\_\_-20230129001615ヴェレロ\_\_\_-demoCompleted2023-01-2900:16:15+0800CST2023-01-2900:17:20+0800CST01352023-01-2900:16:15+0800CST<none>┌──[root@vms100.liruilongs.github.io]-[/アンシブル/ヴェレロ/ヴェレロ\_\_\_\_\_\_\_\_\_\_-v\mathrm{1.10.1}-rc.1\_-私はuxで-amd64]└─$

ここに画像の説明を挿入します

災害復旧テスト
名前空間の削除テスト

現在のコマンドスペースリソース

┌──[[email protected]]-[~/back]
└─$kubectl-ketall -n cadvisor
W0129 00:34:28.299699 126128 warnings.go:70] kubevirt.io/v1 VirtualMachineInstancePresets is now deprecated and will be removed in v2.
W0129 00:34:28.354853 126128 warnings.go:70] metallb.io v1beta1 AddressPool is deprecated, consider using IPAddressPool
NAME NAMESPACE AGE
configmap/kube-root-ca.crt cadvisor 2d4h
pod/cadvisor-5v7hl cadvisor 2d4h
pod/cadvisor-7dnmk cadvisor 2d4h
pod/cadvisor-7l4zf cadvisor 2d4h
pod/cadvisor-dj6dm cadvisor 2d4h
pod/cadvisor-sjpq8 cadvisor 2d4h
serviceaccount/cadvisor cadvisor 2d4h
serviceaccount/default cadvisor 2d4h
controllerrevision.apps/cadvisor-6cc5c5c9cc cadvisor 2d4h
daemonset.apps/cadvisor cadvisor 2d4h
名前空間の削除

┌──[[email protected]]-[~/back]
└─ $kubectldeletenscadvisor名スペース「cadvisor」deleted\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_{}^C┌──[root@vms100.liruilongs.\_\_\_github.\_いお]\_-[/back]└─$ kubectl delete ns cadvisor --force$警告:\; 即時削除は、実行中$$の$
リソースが終了されたことの確認を待ちません。リソースはクラスター上で無期限に実行され続ける可能性があります。
サーバーからのエラー (NotFound): 名前空間「cadvisor」が見つかりません
查看命名空间资源

┌─[[email protected]]-[~/back]
└─$kubectl-ketall -n cadvisor
W0129 00:35:25.548656 127598 warnings.go:70] kubevirt.io/v1 VirtualMachineInstancePresets は現在非推奨であり、v2 で削除されます。W0129
00:35:25.581030 127598 warnings.go:70] metallb.io v1beta1 AddressPool は
非推奨です。IPAddressPool の使用を検討してください。リソースが見つかりません。
削除したばかりのネームスペースを復元するには、上記のバックアップを使用してください。

┌─[[email protected]]-[~/back]
└─$発生するエラーの数\_\_\_\_--から\_\_-バックアップエロ\_\_\_\_\_\_\_-「私はそうなる」と祈るのが一番です。\_\_\_\_-デモ\_\_\_-20230129003541"は完全に送信されました。Run\text{'}velerorestoreddescribelero\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_-デモ\_\_\_-20230129003541\text{'}または\text{'}veleroresストアログsvelero\_\_\_\_-デモ\_\_\_-詳細については、20230129003541をご覧ください。\_\_\_┌──[root@vms100.liruilongs.\_\_\_\_\_github.\_いお]\_-[/back]└─$ velero getリストア
名前 バックアップステータス 開始済み 完了したエラー 警告 作成されたセレクター$velero\; -demo$$-$
20230129001615 velero-demo Completed 2023-01-29 00:16:15 +0800 CST 2023-01-29 00:17 :20 +0800 CST 0 135 2023-01-29 00:16:15 +0800 CST
velero-demo-20230129003541 velero-demo 進行中 2023-01-29 00:35:41 +0800 CST 0 0 2023-01-29 00 :35:41 +0800 CST
┌──[[email protected]]-[~/back]
└─$velero get 復元
名前 バックアップ ステータス 開始済み 完了したエラー 警告 作成されたセレクター
velero-demo-20230129001615 velero-demo完了 2023-01-29 00:16:15 +0800 CST 2023-01-29 00:17:20 +0800 CST 0 135 2023-01-29 00:16:15 +0800 CST
velero-demo-20230129003541 velero-demo 完了 2023-01-29 00:35:41 +0800 CST 2023-01-29 00:36:46 +0800 CST 0 135 2023-01-29 00:35:41 +0800 CST
名前空間リソースの回復を決定する

┌─[[email protected]]-[~/back]
└─$キューブの厚さ\_-大丈夫\_\_\_\_-NコンデンサーW012900\_\_\_\_\_:37:29.787766130766警告。\_\_\_\_\_ゴオー\_:70]キュベヴィルト。\_\_\_\_\_\_io/v1仮想マシンのインストールプリセットは現在廃止されており、削除される予定です\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_dinv2.W012900:37:29.819111130766warnings.go:70]metallb.iov1beta1AddressPoolisdeprecated,IPアドレスプール名メスペースエイジ構成マップ/キューブの使用を検討します\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_-ルート\_-ca。crtcadvisor94スポッド/cadvisor\_\_\_\_\_\_\_\_\_\_\_-5v7hlコンデンサー87スポッド/コンデンサー\_\_\_\_\_\_\_\_\_\_\_\_\_-7dnmkCADバイザー87スポッド/CADバイザー\_\_\_\_\_\_\_\_\_\_\_-7l4zfコンデンサー87スポッド/コンデンサー\_\_\_\_\_\_\_\_\_\_\_\_\_-dj6dmCADバイザー87スポッド/CADバイザー\_\_\_\_\_\_\_\_\_\_\_-sjpq8cadvisor87sサービスアカウント/cadvisorcアドバイザー88sサービスアカウント/デフォルトc\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_アドバイザー94スコント\_\_\_\_\_\_ロールエラー。\_\_\_\_\_\_\_pps/cアドバイザー\_\_\_\_\_\_-6cc5c5c9cccアドバイザー63のデーモンセット。\_\_\_\_\_\_\_\_\_\_apps/cadisorcadvisor63s┌──[root@vms100.liruilong\_\_\_\_s.github.io]-[/back]└─$
┌──[[email protected]]-[~/back]
└─$kubectl get all -n cadvisor
Warning: kubevirt.io/v1 VirtualMachineInstancePresets is now deprecated and will be removed in v2.
NAME READY STATUS RESTARTS AGE
pod/cadvisor-5v7hl 1/1 Running 0 2m50s
pod/cadvisor-7dnmk 1/1 Running 0 2m50s
pod/cadvisor-7l4zf 1/1 Running 0 2m50s
pod/cadvisor-dj6dm 1/1 Running 0 2m50s
pod/cadvisor-sjpq8 1/1 Running 0 2m50s

名前 希望する現在 準備完了 最新の利用可能なノード セレクターの経過時間
daemonset.apps/cadvisor 5 5 5 5 5 2m26s
┌─[[email protected]]-[~/back]
└─$
復元失敗状況分析
ここで注意すべき点は、コマンド スペースが現在削除されているが、次のように中断した場合、kubevirt はコマンド ラインを通じてコマンド スペースを削除しますが、その削除は完了していないことです。または、他の操作を実行しました。作成した API リソースの削除を繰り返すと問題が発生する可能性があるため、操作前のクラスタ状態に戻したい。

┌─[[email protected]]-[~/ansible/kubevirt]
lux─$kubectl get ns
名前 ステータス 年齢
cadvisor アクティブ 39 時間
デフォルト アクティブ 3d20h
ingress-nginx アクティブ 3d20h
kube-node-lease アクティブ 3d20h
kube -public Active 3d20h
kube-system Active 3d20h
kubevirt Termination 3d20h
local-path-storage Active 3d20h
metallb-system Active 3d20h
velero Active 40h
このとき、velero を使用すると、バックアップと復元の操作が発生します。次の 2 つの状態でスタックする場合があります: InProgress または New

┌─[[email protected]]-[~/ansible/kubevirt]
lux─ $veleroを取得してストアに名前を付けます。最新の状態に完了しました。エラーの警告が表示されます。veleroを選択します。\_\_\_\_\_\_\_\_\_\_-デモ\_\_\_-20230130105328ヴェレロ\_\_\_-デモインプログレス2023\_\_\_\_\_\_\_\_-01-3010:53:28+08:00CST<いいえ\_>002023-01-3010:53:28+08:00CST<誰もいない>┌──[root@vms100.liruilongs.\_\_\_\_\_github.\_いお]\_-[/ansible/kubevirt]lux─$ velero get returns$名前$$バックアップステータス\; 開始済み\; 完了$$エラー$
警告 作成済み セレクター
velero-demo-20230130161258 velero-demo 新しい 0 0 2023-01-30 16:12 :58 +0800 CST が
長期間変更されていない場合は、スクリプトを使用して名前空間を完全に削除する必要があります。その後、復元作業を正常に続行できます。

┌──[[email protected]]-[~/ansible/kubevirt]
└─$velerogerestores名前名前バックアップアップスタット完了エラー警告作成された選択......\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_......ヴェレロ\_\_-デモ\_\_\_-20230130161258ヴェレロ\_\_\_-demoCompleted2023-01-3020:53:58+0800CST2023-01-3020:55:20+0800CST01642023-01-3016:12:58+0800CST<none>┌──[root@vms100.liruilongs.github.io]-[/ansible/kubevirt]└─$日付
2023 年 1 月 30 日月曜日 21:02:49 CST
┌──[[email protected]]-[ ~/ ansible/kubevirt]
└─$
┌─[[email protected]]-[~/ansible/k8s_shell_secript]
└─$cat delete_namespace.sh
#!/bin/bash

coproc kubectl プロキシ --port=30990 &

if [ $# -eq 0 ] ; then
echo "削除する ns を追加します。"
exit 1
fi

kubectl 名前空間$1-ああ、そうね\_>ログインします。\_\_jソンセd\_-{私}^{\text{'}}/"ファイナルライザー"/n;\_d^{「}ロッグイング」\_\_\_\_jsoncurl-k-H」の内容\_\_\_\_\_-タイプ\_\_\_:application/json"\_\_-XPUT--データ\_\_\_-バイナリ@logging。\_jだからnhttp://127.0.0.1:30990/api/v1/名前空間/\{1\}$ /$finalize$

kill %1
┌─[[email protected]]-[~/ansible/k8s_shell_secript]
└─ $削除する\_\_\_\_\_{\_}_{}アム・エス・スペース。shkubevirt┌──[root@vms100.liruilongs.\_github.\_いお]\_-[/ansible/k8s\_\_\_\_\_\_{}_{}地獄\_\_{\_}_{}ecript]└─$ ls
delete_namespace.shlogging.json