使用C#编写k8s CRD Controller

本文项目地址：k8s-crd - Repos (azure.com)

CRD

CRD指的是Custom Resource Definition。开发者更多的关注k8s对于容器的编排与调度，这也是k8s最初惊艳开发者的地方。而k8s最具价值的地方是它提供了一套标准化、跨厂商的 API、结构和语义。

k8s将它拥有的一切看作是资源，而它提供了操作资源的标准 API。我们可以使用api部署容器，进行调度，可以设置ingress 网络，可以操作volumes 做持久化存储等。

定制资源(Custom Resource)是对 Kubernetes API 的扩展。k8s内置了pod，services，configmap等资源，而用户则可以利用CRD和API，来对k8s的功能进行扩展。

声明式 API

k8s使用声明式API，声明式API与命令式API最大的区别在于：

命令式API是同步的，即时的，当服务收到命令之后就会去执行，并且将结果返回。

而声明式API则是向服务提交对象的配置信息，表达期望得到的对象状态，再由服务选择时机去完成。

例如，当我们使用kubectl apply 命令之后，此时可能会因令牌过期导致无法拉取image或者HelmRelease，因为k8s使用的是声明式api，用户期待的状态已经被提交，k8s会在令牌刷新成功之后最终实现用户期望。

CRD Controller

创建 CRD 不需要编程，只需要编写合规的yaml文件。

而实现CRD对象所想要的功能则需要CRD Controller来完成。编写k8s Controller并非go或者python的专利，这篇博客则是要讲如何使用C#来编写一个CRD Controller。

CRD能用来做什么？

CRD可以用来声明服务所需要或者所具有的资源。这里我们假设一个场景：

我们的服务中需要用到对象存储，来存储客户照片，或者一些大文件。通常我们会在项目中配置对象存储服务的路径，访问所需要的账号密码等，更重要的是，我们需要确定对象存储服务的类型：使用公司机房搭建的minio，还是使用云服务厂商提供的对象存储服务，配置显然是不同的。

这时我们就可以使用k8s CRD来屏蔽掉这类基础设施的实现细节。

想想看，如果我们只需要在服务的yaml中声明用来存储文件的Bucket Name和Service Name，具体使用哪种存储方式由当前所在的k8s集群来决定，存储地址自动生成在configmap中，账号密码也可以自动创建并生成secret，同时存储对象的Bucket也会自动被创建出来，是不是很方便呢？

这个只包含了Bucket Name和Service Name的yaml就是我们要创建的CRD，而这个目标则需要由对应的CRD Controller来完成。

C#实现CRD Controller

KubeOps

KubeOps是用dotnet编写的kubernetes operator SDK。和Go语言的sdk相比，它提供了相同甚至更多功能，它已经包含了对kubernetes-client/csharp 官方C# Client类库的引用。

我们可以使用命令安装KubeOps项目模板：

dotnet new --install KubeOps.Templates::*

之后我们就可以在VS中新建一个KubeOps operators 项目了。

Object Storage Operator

按约定，用来承载CRD Controller的服务一般被称为Operator，例如Helm Operator。

CRD Entity

打开刚才创建的项目，在Entities目录下编辑CRD对象对应的C#类型定义。

 [KubernetesEntity(Group = "mahua.crd.com", ApiVersion = "v1", Kind = "Bucket")]
    public class V1BucketEntity : CustomKubernetesEntity<V1BucketEntity.V1BucketEntitySpec, V1BucketEntity.V1BucketEntityStatus>
    {
        public class V1BucketEntitySpec
        {
            public string ServiceName { get; set; } = string.Empty;

            public string BucketName { get; set; } = string.Empty;
        }

        public class V1BucketEntityStatus
        {
            public string Status { get; set; } = string.Empty;
        }
    }

需要注意的是Attribute中Group相当于该CRD所在的组织类型，只有符合定义就可以了。

Kind相当于CRD的name，如同我们使用kubectl get pod -A 一样，创建CRD之后，我们就可以使用kubectl get bucket -A来查看集群当前的bucket定义。

CRD YAML

重新生成项目(自行处理掉项目中报错的地方)，我们可以看到在config/crds目录下已经为我们自动生成了Bucket CRD YAML，我们可以按照CRD规范，对其进行简单修改，并部署

为CRD添加名称缩写

部署CRD YAML并测试

Mock ObjectStorageManager

我在这里Mock了一个ObjectStorageManager，在监听到集群中的Bucket资源变化时做出响应，正如前面所说的：确定对象存储服务地址；生成secret；并在对象存储服务中创建出需要的Buckcet。

因为KubeOps已经集成了kubernetes-client/csharp，我们可以直接在服务中注入IKubernetesClient来完成所需要的k8s操作。

        public async Task RegisterBucketAsync(V1BucketEntity bucketEntity)
        {
            if (bucketEntity?.Metadata is null || bucketEntity.Spec is null)
            {
                throw new ArgumentNullException();
            }

            await CreateSecretAsync(bucketEntity.Spec.ServiceName,
                bucketEntity.Spec.BucketName,
                bucketEntity.Metadata.NamespaceProperty,
                _environment.EnvironmentName);
        }

        private async Task RegisterBucketAsync(string serviceName, string bucketName, string @namespace, string environmentName)
        {
            var secretName = GetSecretName(serviceName, bucketName);

            var url = MockObjectStorageUrl(environmentName);

            var account = MockObjectStorageAccount(serviceName);

            await MockCreateBucketAsync(bucketName);

            var secretEntity = CreateBucketSecret(@namespace, serviceName, secretName, url, account.UserName, account.Password);

            var secret = await _client.Get<V1Secret>(secretName, @namespace);
            if (secret == null)
            {
                await _client.Create(secretEntity);
            }
        }

CRD Controller

因为Template已经为我们搭建好了项目基架，我们只需在BucketController当中注入需要的ObjectStorageManager服务即可。

ReconcileAsync方法会不断监视Bucket CRD的状态并执行，我们利用类库内置的IFinalizerManager服务为其添加finalizers 。

finalizers的作用我之前的博客已经提到过了K8s-Finalizers。Bucket作为基础设施用于持久化存储，有必要为其设置finalizers 。

[EntityRbac(typeof(V1BucketEntity), Verbs = RbacVerb.All)]
    public class BucketController : IResourceController<V1BucketEntity>
    {
        private readonly ILogger<BucketController> _logger;
        private readonly IFinalizerManager<V1BucketEntity> _finalizerManager;
        private readonly ObjectStorageManager _objectStorageManager;

        public BucketController(ILogger<BucketController> logger, 
            IFinalizerManager<V1BucketEntity> finalizerManager,
            ObjectStorageManager objectStorageManager)
        {
            _logger = logger;
            _finalizerManager = finalizerManager;
            _objectStorageManager = objectStorageManager;
        }

        public async Task<ResourceControllerResult?> ReconcileAsync(V1BucketEntity entity)
        {
            _logger.LogInformation($"entity {entity.Name()} called {nameof(ReconcileAsync)}.");

            await _finalizerManager.RegisterFinalizerAsync<BucketFinalizer>(entity);

            await _objectStorageManager.RegisterBucketAsync(entity);

            return ResourceControllerResult.RequeueEvent(TimeSpan.FromSeconds(15));
        }
    }

验证CRD Controller

my-test-bucket.yaml

我们可以编写YAML来模拟一个需要对象存储服务的service部署后的场景。

apiVersion: "mahua.crd.com/v1"
kind: Bucket
metadata:
  name: my-test-bucket
spec:
  bucketName: "user-photo"
  serviceName: "my-app"

kubectl apply

我们可以注意到此时my-test-bucket是没有finalizers的，按照设计，当我们启动Operator会自动为其添加finalizers并生成secret。

Debug ObjectStorage.Operator

我们可以看到finalizers已经被添加，而且我们想要的对象存储服务的secret也自动生成了出来。

结论

这里就是通过一个简单的例子，为大家介绍k8s CRD的一些基本概念，以及如何使用C#来实现一个CRD Controller。CRD为我们扩展K8s提供了条件，在项目中我们可以根据需要来选择实现。