一起养成写作习惯!这是我参与「掘金日新计划 · 4 月更文挑战」的第14天,点击查看活动详情。
一、前言
在实际的生产环境中,当服务的请求数量急剧增加的时候,我们需要对某个服务进行扩容,当资源紧张或服务的工作负载降低时,我们可以对某个服务进行缩容。
通过
Deployment/ReplicationController/ReplicaSet
的Scale
机制可以完成Pod
扩缩容。
Pod
扩缩容分为两种模式,手动扩缩容和自动扩缩容:
- 手动扩缩容:通过执行命令
kubectl scale
或通过RESTful API
对Deployment/rc/rs
进行Pod
副本数量设置来一键完成扩缩容。 - 自动扩缩容:指定某个性能指标或自定义业务指标的范围,以及指定
Pod
副本数量的范围,kubernetes
系统会自动在副本数量的范围内根据性能指标的变化进行调整。
二、 配置 HPA
对于需要定义复杂或是多样的扩缩容规则,则可以使用 HorizontalPodAutoscaler
资源对象来实现自定义。
HorizontalPodAutoscaler
资源对象属于 autoscaling API
组,它包括两个版本:
- v1版本:只支持基于
CPU
使用率的自动扩缩容配置 - v2版本:支持基于任意指标的自动扩缩容配置,比如:资源使用率、
Pod
指标、其它指标等,目前广泛使用的版本为autoscaling/v2beta2
(1)v1版本
上文示例,是通过CPU
的平均使用率配置扩缩容。
上文示例,使用命令的方式直接布置,其实也可以手动使用 YAML
文件创建自动伸缩,可以直接使用 autoscaling/v1
版本。
创建 php-apche-hpa.yaml
apiVersion: autoscaling/v1
kind: HorizontalPodAutoscaler
metadata:
name: php-apache
namespace: default
spec:
# 目标作用对象 scaleTargetRef
scaleTargetRef:
apiVersion: apps/v1
# 类型 kind,可以为 Deployment、rc 或是 rs
kind: Deployment
name: php-apache
# Pod 副本数量的最小值
minReplicas: 1
# Pod 副本数量的最大值
maxReplicas: 10
# 期望每个 Pod 的 CPU 使用率 targetCPUUtilizationPercentage,这里设置为 50%,这个使用率基于 Pod 设置的 CPU Request 值进行计算,在前面设置了 requests cpu 为 200m,所以系统会维持 Pod 的实际 CPU 使用率为 100m
targetCPUUtilizationPercentage: 50
复制代码
(2)v2beta2 版本
apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
name: php-apache
namespace: default
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: php-apache
minReplicas: 1
maxReplicas: 10
# 在 v2beta2 版本中,使用 metrics 字段定义目标指标值
metrics:
# type 字段表示指标类型
- type: Resource
resource:
name: cpu
# target 字段定义指标的目标值,系统在指标数据达到目标值时将触发扩缩容操作
target:
type: Utilization
averageUtilization: 50
复制代码
metrics.type
指标类型可以设置为如下三种中的任一一个或是多个的组合:
Resource
: 基于资源的指标值,这里的资源指的是 CPU 和内存 MemoryPods
: 基于Pod
的指标值,会将系统中全部 Pod 的指标值进行平均值计算Object
: 基于某种资源对象(比如 Ingress)的指标值,或是自定义的指标值
推荐尽量使用
Object
类型的资源对象,因为它和Kubernetes
系统的集成更加自然紧密
对于 Resource
类型指标而言:
- CPU 使用率:在 target.averageUtilization 字段中设置目标平均 CPU 使用率
- 内存 Memory 资源:在 target.AverageValue 字段中设置目标平均内存使用值
- 指标数据通过 metrics.k8s.io API 进行查询
- 必须先启动 Metrics Server 服务
Pods
和 Object
类型指标都属于自定义指标类型,它们的共同点在于:
- 指标数据通过搭建自定义 Metrics Server 服务和监控工具获取
- 指标数据通过 custom.metrics.k8s.io API 进行查询
- 必须先启动自定义的 Metrics Server 服务
1)pods
类型指标
Pods
类型指标的数据是从系统中所有Pod
获取到的,所以 target.type
字段只能使用 AverageValue
,比如我们需要设置一个 Pods
类型指标名为 packets-per-second
,要求在目标指标平均值为 1000 时触发扩缩容操作,则对应的 YAML 文件定义如下所示:
metrics:
# type 字段表示指标类型
- type: Pods
Pods:
# metrics.name 字段设置指标的名字
metrics:
name: packets-per-second
# target 字段定义指标的目标值,系统在指标数据达到目标值时将触发扩缩容操作
target:
type: AverageValue
averageValue: 1k
复制代码
2)object
类型指标
Object
类型指标数据来源于其它资源对象或是自定义指标,target.type
字段可以为 Value
或是 AverageValue
(这时会根据 Pod
数量计算平均值),这里可以看两个示例:
- 数据来源于其它资源对象:设置一个 Object 类型指标名为 requests-per-second,它的值来源于 Ingress “main-route”,当目标值为 2000 时触发扩缩容操作,对应的 YAML 文件格式内容如下:
metrics:
- type: Object
object:
metrics:
name: requests-per-second
describedObject:
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
name: main-route
target:
type: Value
value: 2k
复制代码
- 数据来源于自定义指标:设置一个 Object 类型指标名为 http_requests,且必须具有标签 “verb=GET”,当指标平均值达到 500 时触发扩缩容操作,对应的 YAML 文件格式内容如下:
metrics:
- type: Object
object:
metrics:
name: "http_requests"
selector: "verb=GET"
target:
type: AverageValue
averageValue: 500
复制代码
当一个
HPA
资源对象定义了多种类型的指标时,系统会针对每一种类型的指标都计算Pod
目标值,最终会以结果中最大的Pod
值进行扩缩容操作。
(3)External
从 Kubernetes v1.10
版本开始,metrics.type
指标类型新增了一个名为 External
的值:
- 可以支持外部系统指标,比如公有云服务商提供的消息服务或是外部负载均衡器,
- 指标数据通过
external.metrics.k8s.io API
进行查询 - 必须先启动自定义的
Metrics Server
服务
比如设置一个 External
类型指标名为 queue_messages_ready
,且必须具有标签 “queue=worker_tasks”
,当指标平均值达到 30 时触发扩缩容操作,对应的 YAML
文件格式内容如下:
metrics:
- type: External
object:
metrics:
name: queue_messages_ready
selector: "queue=worker_tasks"
target:
type: AverageValue
averageValue: 30
复制代码