k8s-client-go源码剖析(一)

简介：云原生社区活动---Kubernetes源码剖析第一期

有幸参与云原生社区举办的Kubernetes源码剖析活动，活动主要以书籍《Kubernetes源码剖析》为主要思路进行展开，提出在看书过程中遇到的问题，和社区成员一起讨论，最后会将结果总结到云原生社区的知识星球或Github。

第一期活动主要以书本第五章<Client-go编程式交互>为主题进行学习，计划共三周半。

计划如下：

1. client-go客户端学习

2. Infoermer机制学习

3. WorkQueue学习

4. 整体结构回顾、逻辑回顾、优秀代码回顾

学习总得有个重要的优先级，我个人的优先级是这样的，仅供参考：

1. Informer机制原理

2. WorkerQueue原理

3. 几种Client-go客户端的使用、优劣

学习环境相关：

1. Kubernetes 1.14版本

2. 对应版本的client-go

本文主题

本文是第一周，课题有两个：

• Client-go源码结构

• 几种Client客户端对象学习

Client-go源码目录结构

Plain Text

1

[root@normal11 k8s-client-go]# tree . -L 1

2

.

3

├── CHANGELOG.md

4

├── code-of-conduct.md

5

├── CONTRIBUTING.md

6

├── discovery

7

├── dynamic

8

├── examples

9

├── Godeps

10

├── go.mod

11

├── go.sum

12

├── informers

13

├── INSTALL.md

14

├── kubernetes

15

├── kubernetes_test

16

├── LICENSE

17

├── listers

18

├── metadata

19

├── OWNERS

20

├── pkg

21

├── plugin

22

├── README.md

23

├── rest

24

├── restmapper

25

├── scale

26

├── SECURITY_CONTACTS

27

├── testing

28

├── third_party

29

├── tools

30

├── transport

31

└── util

32

​

33

​

client-go代码库已经集成到了Kubernetes源码中，所以书本中展示的内容是在Kubernetes源码中源码结构，而这里展示的是Client-go代码库中原始的内容，所以多了一些源码之外的内容，例如README、example、go.mod等。下面讲一下各个目录的作用，内容引自书本：

编辑

删除

几种Client-go客户端

下图是一个简单的总结,其中ClientSet、DynamicClient、DiscoveryClient都是基于RESTClient封装的。

RESTClient

最基础的客户端，对HTTP Request进行了封装，实现了RESTFul风格的API。

案例代码：

Plain Text

1

package main

2

​

3

import (

4

  "fmt"

5

​

6

  corev1 "k8s.io/api/core/v1"

7

  metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"

8

  "k8s.io/client-go/kubernetes/scheme"

9

  "k8s.io/client-go/rest"

10

  "k8s.io/client-go/tools/clientcmd"

11

)

12

​

13

func main() {
   
   

14

  config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")

15

  if err != nil {
   
   

16

    panic(err.Error())

17

  }

18

​

19

  config.APIPath = "api"

20

  config.GroupVersion = &corev1.SchemeGroupVersion

21

  config.NegotiatedSerializer = scheme.Codecs

22

​

23

  restClient, err := rest.RESTClientFor(config)

24

  if err != nil {
   
   

25

    panic(err.Error())

26

  }

27

​

28

  result := &corev1.NodeList{}

29

  err = restClient.Get().Namespace("").Resource("nodes").VersionedParams(&metav1.ListOptions{Limit: 100}, scheme.ParameterCodec).Do().Into(result)

30

  if err != nil {
   
   

31

    panic(err)

32

  }

33

​

34

  for _, d := range result.Items {
   
   

35

    fmt.Printf("Node Name %v \n", d.Name)

36

  }

37

}

38

​

39

​

预期运行结果将会打印K8S集群中的node

ClientSet

对RESTClient进行了对象分类方式的封装，可以实例化特定资源的客户端，

以Resource和Version的方式暴露。例如实例化一个只操作appsv1版本的Deploy客户端,

ClientSet可以认为是一系列资源的集合客户端。缺点是不能直接访问CRD。

通过client-gen代码生成器生成带有CRD资源的ClientSet后可以访问CRD资源。(未测试)

案例代码：

Plain Text

1

package main

2

​

3

import (

4

  apiv1 "k8s.io/api/core/v1"

5

  metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"

6

  "k8s.io/client-go/kubernetes"

7

  "k8s.io/client-go/tools/clientcmd"

8

)

9

​

10

func main() {
   
   

11

  config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")

12

  if err != nil {
   
   

13

    panic(err)

14

  }

15

  clientset, err := kubernetes.NewForConfig(config)

16

  if err != nil {
   
   

17

    panic(err)

18

  }

19

​

20

  podClient := clientset.CoreV1().Pods(apiv1.NamespaceDefault)

21

​

22

  list, err := podClient.List(metav1.ListOptions{Limit: 500})

23

  if err != nil {
   
   

24

    panic(err)

25

  }

26

  for _, d := range list.Items {
   
   

27

    if d.Name == "" {
   
   

28

    }

29

    // fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)

30

  }

31

​

32

  //请求namespace为default下的deploy

33

  deploymentClient := clientset.AppsV1().Deployments(apiv1.NamespaceDefault)

34

  deployList, err2 := deploymentClient.List(metav1.ListOptions{Limit: 500})

35

  if err2 != nil {
   
   

36

    panic(err2)

37

  }

38

  for _, d := range deployList.Items {
   
   

39

    if d.Name == "" {
   
   

40

​

41

    }

42

    // fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)

43

  }

44

​

45

  // 请求ds资源 todo  有兴趣可以尝试下

46

  // clientset.AppsV1().DaemonSets()

47

​

48

}

49

​

50

​

代码中分别打印了获取到K8S集群中的500个Pod和500个deploy，目前打印语句是注释了，如果要看效果需要先删掉注释。

案例代码中还留了一个小内容，请求获取daemonset资源，感兴趣的可以试一试。

DynamicClient

这是一种动态客户端，对K8S任意资源进行操作，包括CRD。

请求返回的结果是map[string]interface{}

代码案例：

Plain Text

1

package main

2

​

3

import (

4

  "fmt"

5

​

6

  apiv1 "k8s.io/api/core/v1"

7

  corev1 "k8s.io/api/core/v1"

8

  metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"

9

  "k8s.io/apimachinery/pkg/runtime"

10

  "k8s.io/apimachinery/pkg/runtime/schema"

11

  "k8s.io/client-go/dynamic"

12

  "k8s.io/client-go/tools/clientcmd"

13

)

14

​

15

func main() {
   
   

16

  config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")

17

  if err != nil {
   
   

18

    panic(err)

19

  }

20

​

21

  dymaicClient, err := dynamic.NewForConfig(config)

22

  checkErr(err)

23

  //map[string]interface{}

24

​

25

         //TODO 获取CRD资源 这里是获取了TIDB的CRD资源

26

  // gvr := schema.GroupVersionResource{Version: "v1alpha1", Resource: "tidbclusters", Group: "pingcap.com"}

27

  // unstructObj, err := dymaicClient.Resource(gvr).Namespace("tidb-cluster").List(metav1.ListOptions{Limit: 500})

28

  // checkErr(err)

29

  // fmt.Println(unstructObj)

30

​

31

  gvr := schema.GroupVersionResource{Version: "v1", Resource: "pods"}

32

  unstructObj, err := dymaicClient.Resource(gvr).Namespace(apiv1.NamespaceDefault).List(metav1.ListOptions{Limit: 500})

33

  checkErr(err)

34

  // fmt.Println(unstructObj)

35

  podList := &corev1.PodList{}

36

  err = runtime.DefaultUnstructuredConverter.FromUnstructured(unstructObj.UnstructuredContent(), podList)

37

  checkErr(err)

38

  for _, d := range podList.Items {
   
   

39

    fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)

40

  }

41

​

42

}

43

​

44

func checkErr(err error) {
   
   

45

  if err != nil {
   
   

46

    panic(err)

47

  }

48

}

49

​

50

​

这个案例是打印了namespace为default下的500个pod，同样的，在案例中也有一个todo，获取CRD资源，感兴趣的可以尝试一下。如果K8S集群中没有TIDB的资源可以自行换成自己想要的CRD资源。

代码中已经有获取v1alpha1版本的tidbclusters资源。如果你不知道CRD相关的信息，可以按照下面的步骤来找出对应的信息：

1. 通过kubectl api-resources 获取到资源的Group和Resource

2. 通过kubectl api-versions 找到对应Group的版本

这样 资源的GVR(Group、Version、Resource)都有了

DiscoveryClient

这是一种发现客户端，在前面的客户端中需要知道资源的Resource和Version才能找到你想要的，

这些信息太多很难全部记住，这个客户端用于获取资源组、版本等信息。

前面用到的api-resources和api-versions都是通过discoveryClient客户端实现的,源码在Kubernetes源码库中 pkg/kubectl/cmd/apiresources/apiresources.gopkg/kubectl/cmd/apiresources/apiversions.go

Plain Text

1

// RunAPIResources does the work

2

func (o *APIResourceOptions) RunAPIResources(cmd *cobra.Command, f cmdutil.Factory) error {
   
   

3

  w := printers.GetNewTabWriter(o.Out)

4

  defer w.Flush()

5

​

6

  //拿到一个DiscoveryClient客户端

7

  discoveryclient, err := f.ToDiscoveryClient()

8

  if err != nil {
   
   

9

    return err

10

  }

11

​

12

​

13

​

Plain Text

1

// RunAPIVersions does the work

2

func (o *APIVersionsOptions) RunAPIVersions() error {
   
   

3

  // Always request fresh data from the server

4

  o.discoveryClient.Invalidate()

5

​

6

  //通过discoveryClient获取group相关信息

7

  groupList, err := o.discoveryClient.ServerGroups()

8

  if err != nil {
   
   

9

    return fmt.Errorf("couldn't get available api versions from server: %v", err)

10

  }

案例代码：

获取集群中的GVR

Plain Text

1

package main

2

​

3

import (

4

  "fmt"

5

  "k8s.io/apimachinery/pkg/runtime/schema"

6

  "k8s.io/client-go/discovery"

7

  "k8s.io/client-go/tools/clientcmd"

8

)

9

​

10

func main()  {
   
   

11

  config, err := clientcmd.BuildConfigFromFlags("","/root/.kube/config")

12

  if err != nil {
   
   

13

    panic(err.Error())

14

  }

15

​

16

  discoveryClient, err := discovery.NewDiscoveryClientForConfig(config)

17

  if err != nil {
   
   

18

    panic(err.Error())

19

  }

20

​

21

  _, APIResourceList, err := discoveryClient.ServerGroupsAndResources()

22

  if err != nil {
   
   

23

    panic(err.Error())

24

  }

25

  for _, list := range APIResourceList {
   
   

26

    gv, err := schema.ParseGroupVersion(list.GroupVersion)

27

    if err != nil {
   
   

28

      panic(err.Error())

29

    }

30

    for _, resource := range list.APIResources {
   
   

31

      fmt.Printf("name: %v, group: %v, version %v\n", resource.Name, gv.Group, gv.Version)

32

    }

33

  }

34

}

预期效果：打印集群中的GVR

Plain Text

1

[root@normal11 discoveryclient]# go run main.go 

2

name: bindings, group: , version v1

3

name: componentstatuses, group: , version v1

4

name: configmaps, group: , version v1

5

name: endpoints, group: , version v1

6

...

DiscoveryClient在请求到数据之后会缓存到本地，默认存储位置是~/.kube/cache和~/.kube/http-cache,默认是每10分钟会和API Server同步一次。

总结

第一周主要是了解下各种客户端的使用以及不同，有时间的可以再进行一些拓展试验，研究对象可以选择一些主流的框架或官方示例，例如：

1. Sample-Controller 中如何使用client-go的

2. Kubebuilder中如何使用client-go的

3. Operator-sdk中如何使用client-go的

延伸阅读：

1. [活动] Kubernetes 源码研习社 第一期活动

2. 如何高效阅读 Kubernetes 源码？

始发于 四颗咖啡豆,转载请声明出处.
关注公粽号->[四颗咖啡豆] 获取最新内容

四颗咖啡豆