kubernetes部署Harbor企业级私有仓库

一，部署环境：

主机	操作系统	ip地址
k8s01（master）	Centos 7.3	172.16.1.30
k8s02（node01）	Centos 7.3	172.16.1.31
k8s03（node02）	Centos 7.3	172.16.1.32

二，部署Harbor

可以选择任意一台服务器，这里选择k8s集群中的master作为harboar私有仓库。
1）安装必要的系统工具

[root@master ~]# yum -y install yum-utils device-mapper-persistent-data lvm2

2）安装docker-compose
github下载地址：https://github.com/docker/compose/releases ，可选择下载对应的版本，例如下载1.25.0版本：

[root@master ~]# curl -L https://github.com/docker/compose/releases/download/1.25.0-rc4/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

#添加可执行的权限:
[root@master ~]# chmod +x /usr/local/bin/docker-compose 
#查看compose版本：
[root@master ~]# docker-compose -v
docker-compose version 1.25.0-rc4, build 8f3c9c58

3）下载harbor安装包并解压：
下载地址：https://github.com/goharbor/harbor/releases
例如下载v1.7.4版本。

#选择离线安装模式（offline）:
[root@master harbor]# wget https://storage.googleapis.com/harbor-releases/release-1.7.0/harbor-offline-installer-v1.7.4.tgz

[root@master harbor]# tar xf harbor-offline-installer-v1.7.4.tgz 
[root@master harbor]# cd harbor/
[root@master harbor]# ls
common                          docker-compose.notary.yml  harbor.v1.7.4.tar.gz  open_source_license
docker-compose.chartmuseum.yml  docker-compose.yml         install.sh            prepare
docker-compose.clair.yml        harbor.cfg                 LICENSE

4）配置harbor
#修改harbor配置文件：
[root@master harbor]# vim harbor.cfg
kubernetes部署Harbor企业级私有仓库
修改“hostname”为本机ip地址或域名，其他参数暂时保持默认即可，如果实际需求时可再做修改，配置文件详细参数如下：

# hostname设置访问地址，可以使用ip、域名，不可以设置为127.0.0.1或localhost
hostname = 172.16.1.30

# 访问协议，默认是http，也可以设置https，如果设置https，则nginx ssl需要设置on
ui_url_protocol = http

# mysql数据库root用户默认密码root123，实际使用时修改下
db_password = root123

max_job_workers = 3 
customize_crt = on
ssl_cert = /data/cert/server.crt
ssl_cert_key = /data/cert/server.key
secretkey_path = /data
admiral_url = NA

# 邮件设置，发送重置密码邮件时使用
email_identity = 
email_server = smtp.mydomain.com
email_server_port = 25
email_username = [email protected]
email_password = abc
email_from = admin <[email protected]>
email_ssl = false

# 启动Harbor后，管理员UI登录的密码，默认是Harbor12345
harbor_admin_password = Harbor12345

# 认证方式，这里支持多种认证方式，如LADP、本次存储、数据库认证。默认是db_auth，mysql数据库认证
auth_mode = db_auth

# LDAP认证时配置项
ldap_url = ldaps://ldap.mydomain.com
ldap_searchdn = uid=searchuser,ou=people,dc=mydomain,dc=com
ldap_search_pwd = password
ldap_basedn = ou=people,dc=mydomain,dc=com
ldap_filter = (objectClass=person)
ldap_uid = uid 
ldap_scope = 3 
ldap_timeout = 5

# 是否开启自注册
self_registration = on

# Token有效时间，默认30分钟
token_expiration = 30

# 用户创建项目权限控制，默认是everyone（所有人），也可以设置为adminonly（只能管理员）
project_creation_restriction = everyone

verify_remote_cert = on

5）安装harbor
只需要执行安装脚本即可：

[root@master harbor]# ./install.sh  #注意在harbor目录下

kubernetes部署Harbor企业级私有仓库

6）登录harbor web界面，访问URL：http://172.16.1.30
#默认用户名：admin，密码：Harbor12345
//以上信息可以在harbor配置文件中查看到：
kubernetes部署Harbor企业级私有仓库

//登陆界面如下：
kubernetes部署Harbor企业级私有仓库

#新建一个项目:
kubernetes部署Harbor企业级私有仓库

#新建的项目可作为一个仓库，目前该仓库中还没有任何镜像,可任意上传镜像:
kubernetes部署Harbor企业级私有仓库

7）Harbor的启动与停止
//停止harbor：

[root@master harbor]# docker-compose stop
Stopping nginx              ... done
Stopping harbor-portal      ... done
Stopping harbor-jobservice  ... done
Stopping harbor-core        ... done
Stopping harbor-adminserver ... done
Stopping registryctl        ... done
Stopping redis              ... done
Stopping registry           ... done
Stopping harbor-db          ... done
Stopping harbor-log         ... done

//启动harbor：

[root@master harbor]# docker-compose start
Starting log         ... done
Starting registry    ... done
Starting registryctl ... done
Starting postgresql  ... done
Starting adminserver ... done
Starting core        ... done
Starting portal      ... done
Starting redis       ... done
Starting jobservice  ... done
Starting proxy       ... done

//重启harbor
重启harbor一般建议先stop停止，再start开启，直接使用restart可能会有报错。

三，使用Harobr私有仓库

#修改docker配置文件：
[root@master harbor]# vim /usr/lib/systemd/system/docker.service

kubernetes部署Harbor企业级私有仓库

#重新加载并重启docker：
[root@master harbor]# systemctl daemon-reload
[root@master harbor]# systemctl restart docker

2) 客户端登陆harbor：

[root@master harbor]# docker login  -uadmin -p Harbor12345 172.16.1.30:80
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

#将需要上传到harbor仓库的镜像进行push，例如nginx镜像

#注意：上传至harbor中已存在的仓库
[root@master harbor]# docker tag nginx:latest 172.16.1.30:80/harbor/nginx:v1.0  
[root@master harbor]# docker push 172.16.1.30:80/harbor/nginx:v1.0 
The push refers to repository [172.16.1.30:80/harbor/nginx]
12fdf55172df: Pushed 
002a63507c1c: Pushed 
1c95c77433e8: Pushed 
v1.0: digest: sha256:099019968725f0fc12c4b69b289a347ae74cc56da0f0ef56e8eb8e0134fc7911 size: 948

#在harbor仓库中可查看到上传的镜像
kubernetes部署Harbor企业级私有仓库
#如果需要删除镜像，可用在线进行删除：

3）其他用户共享harbor仓库
#以集群中的node01节点为例:

#将master上的docker配置文件拷贝至node01：
[root@master harbor]# scp /usr/lib/systemd/system/docker.service root@node01:/usr/lib/systemd/system/
docker.service                                                          100% 1634     1.6KB/s   00:00   
#重新加载：
[root@node01 ~]# systemctl daemon-reload
[root@node01 ~]# systemctl restart docker

2）登陆harbor私有仓库：

[root@node01 ~]# docker login -u admin -p Harbor12345 172.16.1.30:80
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

3）从harbor仓库中拉取镜像：

[root@node01 ~]# docker pull 172.16.1.30:80/harbor/nginx:v1.0
v1.0: Pulling from harbor/nginx
1ab2bdfe9778: Pull complete 
a17e64cfe253: Pull complete 
e1288088c7a8: Pull complete 
Digest: sha256:099019968725f0fc12c4b69b289a347ae74cc56da0f0ef56e8eb8e0134fc7911
Status: Downloaded newer image for 172.16.1.30:80/harbor/nginx:v1.0

[root@node01 ~]# docker images | grep nginx
172.16.1.30:80/harbor/nginx   v1.0                5a3221f0137b        6 months ago        126MB

4）以harbor私有仓库中的镜像，简单部署nginx服务

[root@master harbor]# cat nginx.yaml 
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nginx
spec:
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
      - name: nginx
        image: 172.16.1.30:80/harbor/nginx:v1.0   #下载镜像指定harbor仓库中的镜像
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc
spec:
  type: NodePort
  selector:
    app: web
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
    nodePort: 30000

//创建nginx服务，并访问nginx网页：

[root@master harbor]# kubectl create -f nginx.yaml 
deployment.extensions/nginx created
service/nginx-svc created
[root@master harbor]# kubectl get pod,svc
NAME                         READY   STATUS    RESTARTS   AGE
pod/nginx-7559d56464-tqc2g   1/1     Running   0          63s

NAME                 TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP        113d
service/nginx-svc    NodePort    10.105.18.41   <none>        80:30000/TCP   63s

kubernetes部署Harbor企业级私有仓库