k8s实践

其他 2018-07-18 12:04:45 阅读次数: 0

内网中k8s的相关配置

kubernetes是以pod而不是docker容器为管理单元的，在k8s创建pod时，还会通过 启动一个名为 google_container/pause的镜像来实现pod的概念，该镜像文件存在谷歌镜像库http://gcr.io中，需要一台能上internet的服务器将其下载并导出，push到私有docker registry中

修改每台node的kubelet服务的启动参数，加上 --pod_infra_container_images参数，指定为私有docker Registry中pause镜像的地址

[root@k8s_node1 ~]# cat /etc/kubernetes/kubelet
KUBELET_ARGS="--cluster_dns=10.254.10.2 --pod_infra_container_image=gcr.io/google_containers/pause-amd64:3.0"

#注： --pod_infra_container_image的值根据实际pause的地址进行修改，一版传到内网私有registry上去后直接写内网地址即可

如果以上地址不能用，换成如下

--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0

重启kubelet服务

systemctl restart  kubelet

k8s集群网络配置

  • flannel（覆盖网络）

 拓扑图

 

基础原理

扫描二维码关注公众号，回复： 2217746 查看本文章 
#A主机
1、容器直接使用目标容器的ip访问，默认通过容器内部的eth0发送出去。
2、报文通过veth pair被发送到vethXXX。
3、vethXXX是直接连接到虚拟交换机docker0的，报文通过虚拟bridge docker0发送出去。
4、查找路由表，外部容器ip的报文都会转发到flannel0虚拟网卡，这是一个P2P的虚拟网卡，然后报文就被转发到监听在另一端的flanneld。
5、flanneld通过etcd维护了各个节点之间的路由表，把原来的报文UDP封装一层，通过配置的iface发送出去。
6、报文通过主机之间的网络找到目标主机。
##B主机
7、报文继续往上，到传输层，交给监听在8285端口的flanneld程序处理。
8、数据被解包，然后发送给flannel0虚拟网卡。
9、查找路由表，发现对应容器的报文要交给docker0。
10、docker0找到连到自己的容器，把报文发送过去。

flannel采用覆盖网络（overlay Network）模型来完成对网络的打通

①、安装etcd

　　　　　　由于flannel使用etcd作为数据库，所以需要预先安装好etcd，这里略过，看 k8s集群安装有详细步骤

②、安装flannel

　　　　　　需要在每台node上安装flannel,安装方法见 k8s集群安装文档

③、配置flannel

[root@k8s_node2 ~]# systemctl status flanneld　　　　　　　　#通过这条命令查看flannel的启动文件
● flanneld.service - Flanneld overlay address etcd agent
   Loaded: loaded (/usr/lib/systemd/system/flanneld.service; enabled; vendor preset: disabled)
   Active: active (running) since 二 2018-07-10 18:01:45 CST; 6 days ago
 Main PID: 50935 (flanneld)
   Memory: 8.8M
   CGroup: /system.slice/flanneld.service
           └─50935 /usr/bin/flanneld -etcd-endpoints=http://192.168.132.148:2379 -etcd-prefix=/atomic.io/network
。。。。。。

[root@k8s_node2 ~]# cat /usr/lib/systemd/system/flanneld.service　　　　#查看启动文件。查看加载的配置问津
[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service

[Service]
Type=notify
EnvironmentFile=/etc/sysconfig/flanneld
EnvironmentFile=-/etc/sysconfig/docker-network
ExecStart=/usr/bin/flanneld-start $FLANNEL_OPTIONS
ExecStartPost=/usr/libexec/flannel/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=on-failure

[Install]
WantedBy=multi-user.target
RequiredBy=docker.service


[root@k8s_node2 ~]# cat /etc/sysconfig/flanneld|grep -v "^#\|^$"　　　　　　#查看flannel配置文件
FLANNEL_ETCD_ENDPOINTS="http://192.168.132.148:2379"
FLANNEL_ETCD_PREFIX="/atomic.io/network"

master端创建网络（只在master端执行）

etcdctl mk /atomic.io/network/config '{"Network": "10.1.0.0/16"}'　　#注意这里的蓝色字体部分要与node flanneld配置文件中的flannel_etcd_prefix名称一样

由于flannel将覆盖docker0网桥，所以如果docker服务已经启动，可尝试将docker服务停止，或者删除docker0网桥，详见 k8s集群安装博客

启动flannel服务

systemctl start flanneld

  • openswitch（虚拟交换机）

 拓扑图

首先配置两个node的docker0网桥地址不同

节点名称 ens33 ip docker0 ip
node1 192.168.248.139 172.17.42.1
node2 192.168.248.140 172.17.43.1

自定义 设置docker0 ip方法只需修改 daemon.json文件即可

[root@node1 ~]# cat /etc/docker/daemon.json 
{"bip": "172.17.42.1/24"}

[root@node2 ~]# cat /etc/docker/daemon.json 
{"bip": "172.17.43.1/24"}


#重启docker服务
systemctl daemon-reload
systemctl restart docker

安装并启动openvswitch

yum install openvswitch

systemctl start openswitch

查看openswitch是否安装成功

#查看进程
service openvswitch stauts

#查看相关日志
more /var/log/messages | grep openvswitch

创建网桥和GRE隧道(需要在每个node上建立ovs网桥br0，然后在网桥上创建一个GRE隧道连接对端网桥，最后把ovs网桥br0作为一个端口连接到docker0 这个linux网桥上)

注：node1和node2 操作相同，只是设置点对点ip的时候略有不同

node1 操作

ovs-vsctl add-br br0　　　　　　#创建ovs网桥
ifconfig　　　　　　　　　　　　#查看有没有新建的br0网桥，如果没有重启openswitch
ovs-vsctl add-port br0 gre1 -- set interface gre1 type=gre option:remote_ip=192.168.248.140　　　　#remote为对端物理网卡的ip地址（eth0或ens33或其他）
brctl addif docker0 br0　　　　　　　　　　#添加br0到本地 docker0网桥

#启动docker0和br0网桥
ip link set dev br0 up
ip link set dev docker0 up
ip route add 172.17.0.0/16 dev docker0　　　　　　　　#添加到主机的路由


node2 操作

ovs-vsctl add-br br0
ifconfig　　　　　　　　　　　　　　#查看有没有新建的br0网桥，如果没有重启 openswich
ovs-vsctl add-port br0 gre1 -- set interface gre1 type=gre option:remote_ip=192.168.248.139
brctl addif docker0 br0
ip link set dev br0 up
ip link set dev docker0 up
ip route add 172.17.0.0/16 dev docker0

注：如果有多个node，需要建立n*（n-1）条 GRE隧道，组成一个网格结构

查看添加情况并测试

[root@node1 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:b0:88:b7 brd ff:ff:ff:ff:ff:ff
    inet 192.168.248.139/24 brd 192.168.248.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::e1d4:5d25:cb99:2fea/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP 
    link/ether 02:42:d1:b3:15:a9 brd ff:ff:ff:ff:ff:ff
    inet 172.17.42.1/24 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:d1ff:feb3:15a9/64 scope link 
       valid_lft forever preferred_lft forever
4: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether ce:74:4c:34:b3:f9 brd ff:ff:ff:ff:ff:ff
5: br0: <BROADCAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UNKNOWN qlen 1000
    link/ether 3a:fe:f3:1c:26:40 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::dcc0:48ff:fed0:85f4/64 scope link 
       valid_lft forever preferred_lft forever
6: gre0@NONE: <NOARP> mtu 1476 qdisc noop state DOWN qlen 1
    link/gre 0.0.0.0 brd 0.0.0.0
7: gretap0@NONE: <BROADCAST,MULTICAST> mtu 1462 qdisc noop state DOWN qlen 1000
    link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff
8: gre_system@NONE: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65490 qdisc pfifo_fast master ovs-system state UNKNOWN qlen 1000
    link/ether 4e:3b:c4:9c:31:79 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::4c3b:c4ff:fe9c:3179/64 scope link 
       valid_lft forever preferred_lft forever

[root@node2 log]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:f3:1b:1c brd ff:ff:ff:ff:ff:ff
    inet 192.168.248.140/24 brd 192.168.248.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::2199:b4c3:7d80:32c1/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP 
    link/ether 02:42:7e:c0:fc:bf brd ff:ff:ff:ff:ff:ff
    inet 172.17.43.1/24 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:7eff:fec0:fcbf/64 scope link 
       valid_lft forever preferred_lft forever
4: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether b2:5a:cb:e5:e3:7a brd ff:ff:ff:ff:ff:ff
5: br0: <BROADCAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UNKNOWN qlen 1000
    link/ether 36:f2:10:c9:48:45 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::6810:75ff:feab:ca2f/64 scope link 
       valid_lft forever preferred_lft forever
6: gre0@NONE: <NOARP> mtu 1476 qdisc noop state DOWN qlen 1
    link/gre 0.0.0.0 brd 0.0.0.0
7: gretap0@NONE: <BROADCAST,MULTICAST> mtu 1462 qdisc noop state DOWN qlen 1000
    link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff
8: gre_system@NONE: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65490 qdisc pfifo_fast master ovs-system state UNKNOWN qlen 1000
    link/ether 12:07:43:72:34:d4 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::1007:43ff:fe72:34d4/64 scope link 
       valid_lft forever preferred_lft forever


测试，在node上ping 另一个node的 docker0网桥

[root@node1 ~]# ping 172.17.43.1
PING 172.17.43.1 (172.17.43.1) 56(84) bytes of data.
64 bytes from 172.17.43.1: icmp_seq=1 ttl=64 time=0.960 ms
64 bytes from 172.17.43.1: icmp_seq=2 ttl=64 time=15.9 ms


[root@node2 log]# ping 172.17.42.1
PING 172.17.42.1 (172.17.42.1) 56(84) bytes of data.
64 bytes from 172.17.42.1: icmp_seq=1 ttl=64 time=2.34 ms
64 bytes from 172.17.42.1: icmp_seq=2 ttl=64 time=0.385 ms

  • 直接路由

使用直接路由的方式，只要在每个node上的路由表中添加到对方docker0的静态路由转发规则

例

如：
pod1所在 docker0 网桥的ip子网是 10.1.10.0，node地址为 192.168.132.131；pod2所在docker0网桥的ip子网为 10.1.20.0，node地址为 192.168.132.132

#node1上添加一条道node2的路由

route add -net 10.1.20.0（node2-docker0-IP） netmask 255.255.255.0 gw 192.168.132.132（node2-eth0-IP）

#node2上添加一条道node1的路由

route add -net 10.1.10.0（node1-docker0-IP） netmask 255.255.255.0 gw 192.168.132.131（node1-eth0-IP）

  • calico

  拓扑图

核心组件说明

Calico的核心组件包括：Felix、etcd、BIRD、BIRD。

Felix，即Calicoagent，跑在kubernetes的node节点上，主要负责配置路由及ACLs等信息来确保endpoint的连通状态；

etcd，分布式键值存储，主要负责网络元数据一致性，确保Calico网络状态的准确性，可以与kubernetes共用；

BGPClient(BIRD), 主要负责把 Felix写入 kernel的路由信息分发到当前 Calico网络，确保 workload（虚拟机、容器、pod等）间的通信的有效性；worklaod之间数据传输无需封包解包

BGPRoute Reflector(BIRD), 大规模部署时使用，摒弃所有节点互联的mesh模式，通过一个或者多个 BGPRoute Reflector 来完成集中式的路由分发；

#说明：
　　　　Calico在每一个计算节点利用linux kernel实现了一个高效的vRouter来负责数据转发，每个vRouter通过BGP协议负责把自己上运行的workload的路由信息负责在整个Calico网络内组播
       通过基于iptables的ACLs来提供多租户的隔离

kubectl 语法

详见 k8s命令使用博客

猜你喜欢

转载自www.cnblogs.com/FRESHMANS/p/9324174.html
k8s
今日推荐
“开源信徒”周鸿祎开源360智脑大模型
华为ensp中vrrp虚拟路由器冗余协议 原理及配置命令
基于Python爬虫广东广州水酒店宾馆数据可视化系统设计与实现(Django框架) 研究背景与意义、国内外研究现状
知识融合：知识图谱构建的关键技术
文心一言收费还是免费：全面解析其价格策略与服务价值
百万用户通话新风潮：仅需50秒，无界AI让彩铃变身短视频
【STM32项目】基于STM32多传感器融合的新型智能导盲杖设计（完整工程资料源码）
文生视频大模型Sora的复现经验
腾讯云函数计算技术：云原生架构下的Serverless与微服务新篇章
干货分享｜JumpServer 三种常见的文件传输方式效果对比
【榜单公布】2023年度征文活动已结束
周排行
Java中关于时间的操作及格式化
《HTML5与CSS3基础教程》第五章学习笔记 图像
nginx下安装PHP发生问题的逐步解决
HDU-1048，The Hardest Problem Ever（字符串处理）
新一代多媒体技术与应用的部分课后题
Shader 绘制特殊图形
Oracle数据库三种备份方案
CodeForces - 983B XOR-pyramid(两次区间DP/记忆化DFS)
Python3基础语法——变量与运算符
（转载）KMP算法详解 （原创）详解KMP算法
每日归档
更多
2024-04-16(70)
2024-04-15(42)
2024-04-14(0)
2024-04-13(119)
2024-04-12(38)
2024-04-11(14)
2024-04-10(68)
2024-04-09(5)
2024-04-08(60)
2024-04-07(4)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022