业务部署或运行过程中，用户可能会触发不同层面的高危操作，导致不同程度上的业务故障。为了能够更好地帮助用户预估及避免操作风险，本文将从集群/节点维度出发，为用户展示哪些高危操作会导致怎样的后果，以及为用户提供相应的误操作解决方案。
集群/节点
集群及节点高危操作
| 分类 |
高危操作 |
导致后果 |
误操作后解决方案 |
|---|---|---|---|
| master节点 |
修改集群内节点安全组 |
可能导致master节点无法使用 说明：命名规则：集群名称-cce-control-随机数
扫描二维码关注公众号，回复：
13002092 查看本文章
|
参照新建集群的安全组进行修复，放通安全组。 |
| 节点到期或被销毁 |
该master节点不可用 |
不可恢复。 |
|
| 重装操作系统 |
master组件被删除 |
不可恢复。 |
|
| 自行升级master或者etcd组件版本 |
可能导致集群无法使用 |
回退到原始版本。 |
|
| 删除或格式化节点/etc/kubernetes等核心目录数据 |
该master节点不可用 |
不可恢复。 |
|
| 更改节点IP |
该master节点不可用 |
改回原IP。 |
|
| 自行修改核心组件（etcd、kube-apiserver、docker等）参数 |
可能导致master节点不可用 |
按照推荐配置参数恢复，详情请参见配置管理。 |
|
| 自行更换master或etcd证书 |
可能导致集群不可用 |
不可恢复。 |
|
| worker节点 |
修改集群内节点安全组 |
可能导致节点无法使用 说明：命名规则：集群名称-cce-node-随机数 |
参照新建集群的安全组进行修复，放通安全组。 |
| 节点被删除 |
该节点不可用 |
不可恢复。 |
|
| 重装操作系统 |
节点组件被删除，节点不可用 |
重置节点，具体请参见重置节点。 |
|
| 升级节点内核 |
可能导致节点无法使用或网络异常 说明：CCE集群依赖系统内核版本，如非必要，请不要使用yum update更新或重装节点的操作系统内核（使用原镜像或其它镜像重装均属高危操作） |
EulerOS 2.2恢复方式请参见如何解决yum update升级操作系统导致容器网络不可用问题？ 非EulerOS 2.2您可以重置节点，具体请参见重置节点。 |
|
| 更改节点IP |
节点不可用 |
改回原IP。 |
|
| 自行修改核心组件（kubelet、kube-proxy等）参数 |
可能导致节点不可用、修改安全相关配置导致组件不安全等 |
按照推荐配置参数恢复，详情请参见操作场景。 |
|
| 修改操作系统配置 |
可能导致节点不可用 |
尝试还原配置项或重置节点，具体请参见重置节点。 |
|
| 删除/opt、/var/paas目录，删除数据盘 |
节点不可用 |
重置节点，具体请参见重置节点。 |
|
| 修改节点内目录权限、容器目录权限等 |
权限异常 |
不建议修改，请自行恢复。 |
|
| 对节点进行磁盘格式化或分区 |
节点不可用 |
重置节点，具体请参见重置节点。 |
|
| 在节点上安装自己的其他软件 |
导致安装在节点上的Kubernetes组件异常，节点状态变成不可用，无法部署工作负载到此节点 |
卸载已安装软件，尝试恢复或重置节点，具体请参见重置节点。 |
网络与负载均衡
网络与负载均衡
| 高危操作 |
导致后果 |
误操作后解决方案 |
|---|---|---|
| 修改内核参数net.ipv4.ip_forward=0 |
网络不通 |
修改内核参数为 net.ipv4.ip_forward=1 |
| 修改内核参数net.ipv4.tcp_tw_recycle=1 |
导致nat异常 |
修改内核参数 net.ipv4.tcp_tw_recycle=0 |
| 节点安全组配置未放通容器CIDR的53端口udp |
集群内DNS无法正常工作 |
参照新建集群的安全组进行修复，放通安全组。 |
| 通过ELB的控制台在CCE管理的ELB创建自定义的监听器 |
所做修改被CCE侧重置 |
通过service的yaml来自动创建监听器。 |
| 通过ELB的控制台在CCE管理的ELB绑定自定义的后端rs |
禁止手动绑定后端rs。 |
|
| 通过ELB的控制台修改CCE管理的ELB的证书 |
通过ingress的yaml来自动管理证书。 |
|
| 通过ELB的控制台修改CCE管理的ELB监听器名称 |
禁止修改CCE管理的ELB监听器名称。 |
日志
| 高危操作 |
导致后果 |
误操作后解决方案 |
|---|---|---|
| 删除宿主机 /tmp/ccs-log-collector/pos 目录 |
日志重复采集 |
无 |
| 删除宿主机 /tmp/ccs-log-collector/buffer 目录 |
日志丢失 |
无 |
云硬盘
云硬盘
| 高危操作 |
导致后果 |
误操作后解决方案 |
备注 |
|---|---|---|---|
| 控制台手动解挂EVS |
Pod写入报io error |
删掉node上mount目录，重新调度Pod |
Pod里面的文件记录了文件的采集位置 |
| 节点上umount磁盘挂载路径 |
Pod写入本地磁盘 |
重新mount对应目录到Pod中 |
Buffer里面是待消费的日志缓存文件 |
| 节点上直接操作EVS |
Pod写入本地磁盘 |
无 |
无 |