kubernetes 1.8.3 Ingress-nginx 部署使用

版权声明：转载请注明出处，否则自行负责所有后果 https://blog.csdn.net/ljx1528/article/details/84996966

kubernetes 1.8.3 Ingress-nginx 部署使用

测试环境：

组件	版本号
kubernetes	1.8.3
ingress-nginx	0.20.0
centos	7.4
docker	18.03.1-ce

第1章 Ingress 简介
在Kubernetes中，服务和Pod的IP地址仅可以在集群网络内部使用，对于集群外的应用是不可见的。
为了使外部的应用能够访问集群内的服务，
在Kubernetes 目前 提供了以下几种方案：
 NodePort
 LoadBalancer
 Ingress
1.1 Ingress 组成
 ingress controller
 将新加入的Ingress转化成Nginx的配置文件并使之生效
 ingress服务
 将Nginx的配置抽象成一个Ingress对象，每添加一个新的服务只需写一个新的Ingress的yaml文件即可
1.2 Ingress 工作原理
 ingress controller通过和kubernetes api交互，动态的去感知集群中ingress规则变化
 然后读取它，按照自定义的规则，规则就是写明了哪个域名对应哪个service，生成一段nginx配置
 再写到nginx-ingress-control的pod里，这个Ingress controller的pod里运行着一个Nginx服务，控制器会把生成的nginx配置写入/etc/nginx.conf文件中
 然后reload一下使配置生效 以此达到域名分配置和动态更新的问题

1.3 Ingress 可以解决什么问题
1.3.1 动态配置服务

如果按照传统方式, 当新增加一个服务时, 我们可能需要在流量入口加一个反向代理指向我们新的k8s服务. 而如果用了Ingress, 只需要配置好这个服务, 当服务启动时, 会自动注册到Ingress的中, 不需要而外的操作

1.3.2 减少不必要的端口暴露

配置过k8s的都清楚, 第一步是要关闭防火墙的, 主要原因是k8s的很多服务会以NodePort方式映射出去, 这样就相当于给宿主机打了很多孔, 既不安全也不优雅. 而Ingress可以避免这个问题, 除了Ingress自身服务可能需要映射出去, 其他服务都不要用NodePort方式
说明：本文使用的是基于nginx的ingress

第2章 部署配置Ingress
2.1 部署文件介绍、准备
2.1.1 获取配置文件位置

https://github.com/kubernetes/ingress-nginx/tree/nginx-0.20.0/deploy

2.1.2 下载部署文件
2.1.2.1 提供了两种方式
 默认下载最新的yaml
 指定版本号下载对应的yaml
 默认下载最新的yaml

wget  https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/mandatory.yaml

 指定版本号下载对应的yaml
如下载ingress-nginx 0.20.0对应的yaml

wget  https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.20.0/deploy/mandatory.yaml

2.2 部署文件内容介绍
2.2.1 namespace.yaml

创建一个独立的命名空间 ingress-nginx

2.2.2 configmap.yaml

ConfigMap是存储通用的配置变量的，类似于配置文件，使用户可以将分布式系统中用于不同模块的环境变量统一到一个对象中管理；而它与配置文件的区别在于它是存在集群的“环境”中的，并且支持K8S集群中所有通用的操作调用方式。
从数据角度来看，ConfigMap的类型只是键值组，用于存储被Pod或者其他资源对象（如RC）访问的信息。这与secret的设计理念有异曲同工之妙，主要区别在于ConfigMap通常不用于存储敏感信息，而只存储简单的文本信息。
ConfigMap可以保存环境变量的属性，也可以保存配置文件。
创建pod时，对configmap进行绑定，pod内的应用可以直接引用ConfigMap的配置。相当于configmap为应用/运行环境封装配置

说明：pod使用ConfigMap，通常用于：设置环境变量的值、设置命令行参数、创建配置文件
2.2.3 default-backend.yaml

如果外界访问的域名不存在的话，则默认转发到default-http-backend这个Service，其会直接返回404

2.2.4 rbac.yaml （k8s1.6以后才引用了rbac）

负责Ingress的RBAC授权的控制，其创建了Ingress用到的ServiceAccount、ClusterRole、Role、RoleBinding、ClusterRoleBinding

2.2.5 with-rbac.yaml

是Ingress的核心，用于创建ingress-controller。前面提到过，ingress-controller的作用是将新加入的Ingress进行转化为Nginx的配置

2.3 部署ingress
2.3.1 准备镜像，从mandatory.yaml文件查看需要哪些镜像，然后从国内下载镜像后并替换原有镜像路径

镜像名称	版本	下载地址
k8s.gcr.io/defaultbackend-amd64	1.5	registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/defaultbackend-amd64
quay.io/kubernetes-ingress-controller/nginx-ingress-controller	0.20.0	registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/nginx-ingress-controller

2.3.1.1 下载镜像

docker pull registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/defaultbackend-amd64
docker pull registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/nginx-ingress-controller

2.3.2 更新mandatory.yaml中的镜像地址
2.3.2.1 替换defaultbackend-amd64镜像地址

sed -i 's#k8s.gcr.io/defaultbackend-amd64#registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/defaultbackend-amd64#g' mandatory.yaml

2.3.2.2 替换nginx-ingress-controller镜像地址

sed -i 's#quay.io/kubernetes-ingress-controller/nginx-ingress-controller#registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/nginx-ingress-controller#g' mandatory.yaml

2.3.3 部署nginx-ingress-controller

kubectl apply -f mandatory.yaml

2.3.3.1 修改service-nodeport.yaml文件，添加NodePort端口，默认为随机端口

apiVersion: v1
kind: Service
metadata:
  name: ingress-nginx
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
spec:
  type: NodePort
  ports:
    - name: http
      port: 80
      targetPort: 80
      protocol: TCP
      nodePort: 32080  #http
    - name: https
      port: 443
      targetPort: 443
      protocol: TCP
      nodePort: 32443  #https
  selector:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx

2.3.4 查看ingress-nginx组件状态
2.3.4.1 查看相关pod状态

[root@k8s_master k8s_yaml]# kubectl get pod -n ingress-nginx
NAME                                       READY     STATUS    RESTARTS   AGE
default-http-backend-64f8cb8689-8gsrx      1/1       Running   0          1h
nginx-ingress-controller-8c77b56f5-mmp7k   1/1       Running   0          1h

2.3.4.2 查看service状态

[root@k8s_master k8s_yaml]# kubectl get service -n ingress-nginx
NAME                   TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
default-http-backend   ClusterIP   10.254.201.40    <none>        80/TCP                       1h
ingress-nginx          NodePort    10.254.188.221   <none>        80:32080/TCP,443:32443/TCP   1h

第3章 测试ingress-nginx
3.1 访问ingress-nginx服务，查看是否配置成功

说明：可以看到，提示404，这个因为当前ingress-nginx服务现在还没有后端服务，这是正常的
3.2 创建服务测试ingress-nginx
3.2.1 创建ingress-nginx后端服务
3.2.1.1 创建一个Service及后端Deployment(以nginx为例)

[root@k8s-master k8s_yaml]# cat deploy-demon.yaml 
apiVersion: v1
kind: Service
metadata:
  name: mynginx
  namespace: default
spec:
  selector:
    app: mynginx
    release: canary
  ports:
  - name: http
    port: 80
    targetPort: 80
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata: 
  name: myapp-deploy
spec:
  replicas: 5
  selector: 
    matchLabels:
      app: mynginx
      release: canary
  template:
    metadata:
      labels:
        app: mynginx
        release: canary
    spec:
      containers:
      - name: mynginx
        image: ikubernetes/myapp:v2
        ports:
        - name: httpd
          containerPort: 80

3.2.1.2 创建相关服务及检查状态是否就绪

[root@k8s-master k8s_yaml]# kubectl apply -f deploy-demon.yaml 
service "myapp" created
deployment.apps "myapp-deploy" created

[root@k8s_master k8s_yaml]# kubectl get pods
NAME                            READY     STATUS    RESTARTS   AGE
nginx-6sbhn                     1/1       Running   0          35m
nginx-797n7                     1/1       Running   0          35m
nginx-q92h4                     1/1       Running   0          35m
nginx-rk687                     1/1       Running   0          35m

3.2.1.3 将mynginx添加至ingress-nginx中(基于域名)

[root@k8s-master ingress-nginx]# cat ingress-myapp.yaml 
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-myapp
  namespace: default
  annotations: 
    kubernets.io/ingress.class: "nginx"
spec:
  rules:
  - host: nginx.tiandi.com    #生产中该域名应当是可以被公网解析
    http:
      paths:
      - path: 
        backend:
          serviceName: mynginx
          servicePort: 80
[root@k8s-master ingress-nginx]# kubectl apply -f ingress-myapp.yaml  
ingress.extensions "ingress-myapp" created

3.2.1.4 将mynginx添加至ingress-nginx中(基于ip或域名)

[root@k8s_master k8s_yaml]# cat ingress-nginx.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-nginx
  namespace: default
  annotations: 
    kubernets.io/ingress.class: "nginx"
    ingress.kubernets.io/ssl-redirect: "false"
    nginx.ingress.kubernetes.io/ssl-redirect: "false"
spec:
  rules:
  - http:
      paths:
      - path:  /test     #配置访问路径
        backend:
          serviceName: nginx
          servicePort: 80
 [root@k8s-master ingress-nginx]# kubectl apply -f ingress-myapp.yaml  
 ingress.extensions "ingress-myapp" created

3.2.1.5 配置域名解析，当前测试环境我们使用hosts文件进行解析

10.0.0.11 nginx.tiandi.com

3.2.1.6 使用域名进行访问

3.2.1.7 再创建一个Service及后端Deployment(以tomcat为例)

[root@k8s_master k8s_yaml]# cat tomcat-deploy.yaml 
apiVersion: v1
kind: Service
metadata:
  name: tomcat
  namespace: default
spec:
  selector:
    app: tomcat
    release: canary
  ports:
  - name: http
    port: 8080
    targetPort: 8080
  - name: ajp
    port: 8009
    targetPort: 8009

---
apiVersion: extensions/v1beta1
kind: Deployment
metadata: 
  name: tomcat-deploy
spec:
  replicas: 2
  selector: 
    matchLabels:
      app: tomcat
      release: canary
  template:
    metadata:
      labels:
        app: tomcat
        release: canary
    spec:
      containers:
      - name: tomcat
        image: tomcat:7-alpine
        ports:
        - name: httpd
          containerPort: 8080
        - name: ajp
          containerPort: 8009
[root@k8s-master k8s_yaml]# kubectl apply -f tomcat-deploy.yaml 
service "tomcat" created
deployment.apps "tomcat-deploy" created
[root@k8s-master k8s_yaml]# kubectl get pod #等待pod状态就绪

3.2.1.8 将tomcat添加至ingress-nginx中

[root@k8s_master k8s_yaml]# cat ingress-tomcat.yaml 
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-tomcat
  namespace: default
  annotations: 
    kubernets.io/ingress.class: "tomcat"
spec:
  rules:
  - host: tomcat.tiandi.com
    http:
      paths:
      - path: 
        backend:
          serviceName: tomcat
          servicePort: 8080

3.2.1.9 添加域名解析及访问服务

3.3 下面我们对tomcat服务添加httpds服务
3.3.1 创建私有证书及secret

[root@k8s_master k8s_yaml]# openssl genrsa -out tls.key 2048
Generating RSA private key, 2048 bit long modulus
...........................................................................................+++
.................+++
e is 65537 (0x10001)
[root@k8s_master k8s_yaml]# openssl req -new -x509 -key tls.key -out tls.crt -subj /C=CN/ST=Beijing/L=Beijing/O=DevOps/CN=tomcat.magedu.com
[root@k8s_master k8s_yaml]# ls
ingress-nginx.yaml  ingress-tomcat.yaml  mandatory.yaml  nginx_rc.yaml  nginx_svc.yaml  service-nodeport.yaml  tls.crt  tls.key  tomcat-deploy.yaml
[root@k8s_master k8s_yaml]# kubectl create secret tls tomcat-ingress-secret --cert=tls.crt --key=tls.key
secret "tomcat-ingress-secret" created
[root@k8s_master k8s_yaml]# kubectl get secret
NAME                    TYPE                                  DATA      AGE
default-token-4pxkw     kubernetes.io/service-account-token   3         15d
tomcat-ingress-secret   kubernetes.io/tls                     2         9s
[root@k8s_master k8s_yaml]# kubectl describe secret tomcat-ingress-secret
Name:         tomcat-ingress-secret
Namespace:    default
Labels:       <none>
Annotations:  <none>

Type:  kubernetes.io/tls

Data
====
tls.crt:  1294 bytes
tls.key:  1675 bytes

3.3.2 将证书应用至tomcat服务中

[root@k8s_master k8s_yaml]# cat ingress-tomcat-tls.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-tomcat-tls
  namespace: default
  annotations: 
    kubernets.io/ingress.class: "nginx"
spec:
  tls:
  - hosts:
    - tomcat.magedu.com        #与secret证书的域名需要保持一致
    secretName: tomcat-ingress-secret   #secret证书的名称
  rules:
  - host: tomcat.tiandi.com
    http:
      paths:
      - path: 
        backend:
          serviceName: tomcat
          servicePort: 8080

3.3.2.1 访问服务

说明：从上图可以看出已经使用了443安全端口访问