学成在线(第20天)DevOps

DevOps 介绍

什么是DevOps

DevOps是一种方法或理念,它涵盖开发、测试、运维的整个过程。DevOps是提高软件开发、测试、运维、运营
等各部门的沟通与协作质量的方法和过程,DevOps强调软件开发人员与软件测试、软件运维、质量保障(QA)部
门之间有效的沟通与协作,强调通过自动化的方法去管理软件变更、软件集成,使软件从构建到测试、发布更加快
捷、可靠,最终按时交付软件。

 Git/GitLab

Git是一个版本控制系统,GitLab是一个远程的Git仓库,GitLab与GitHub及国内的码云类似,用户在GitLab上注
册账号,上传项目到GitLab,通过GitLab对项目进行版本控制。通常企业使用GitLab在局域网搭建自己的Git代码
管理仓库,不过随着云计算的发展,很多企业也开始使用提供Git仓库管理公共服务的平台,比如:码云、GitHub
等。

 安装GitLab

在Linux服务器上安装GitLab,首先先安装docker

安装Docker

查看centos系统内核版本 uname -r  内核版本>=3.1

升级软件包及内核 

yum update

在Centos7上安装Docker

yum install -y docker

启动,开机启动

docker systemctl start docker
docker systemctl enable docker

若docker拉取镜像超时,配置一下国内镜像路径

 可以通过修改daemon配置文件

vi /etc/docker/daemon.json

添加

{
  "registry-mirrors": ["https://1l3yp2sl.mirror.aliyuncs.com"]
}

将本机dns改成阿里家的dns解决

vim /etc/resolv.conf 

接着拉取gitlab、redis、postgresql,gitlab依赖redis和postgresql。

docker pull sameersbn/redis
docker pull sameersbn/postgresql
docker pull beginor/gitlab-ce:11.0.1-ce.0

创建postgresql、redis容器:

docker run --name redis -d -p 6379:6379 sameersbn/redis
docker run --name postgresql -d -p 5432:5432 sameersbn/postgresql

创建GitLab 的配置 (etc) 、 日志 (log) 、数据 (data) 放到容器之外, 便于日后升级, 因此我们先准备这三个目录。

mkdir -p /mnt/gitlab/etc
mkdir -p /mnt/gitlab/log
mkdir -p /mnt/gitlab/data

创建gitlab容器:

docker run --detach --hostname 192.168.183.133 -p 10022:22 -p 8899:80 --name gitlab --restart unless-stopped -v /mnt/gitlab/etc:/etc/gitlab -v /mnt/gitlab/log:/var/log/gitlab -v /mnt/gitlab/data:/var/opt/gitlab  gitlab/gitlab-ce:11.5.4-ce.0

可以看到镜像都启动了

 浏览器访问:http://192.168.183.133:8899

 无语,访问不了,明明启动了。我这里卡了好久,反复尝试。我看别人都行,最后我选择github好了。

在GitLab创建项目

点击 “New Project”创建新项目

输入项目信息,提交。
项目新建成功,进入项目主页,通过项目主页即可访问项目内容,并得到项目的Git项目仓库地址:

 使用Git管理项目

设置Git

在开发电脑安装Git,并在Idea中设置Git

 从GitLab检出项目

打开idea,按下图菜单指示从GitLab克隆项目:

 输入项目的Git仓库地址进行克隆:

 提交代码到GitLab

1、在工程根目录创建 .gitignore
此文件中记录了在提交代码时哪些文件或目录被忽略

.idea/
target/
*.iml

2、提交代码

首先执行添加文件到暂存区:

 再执行commit 提交文件到本地仓库

 最终代码确认无误可以提交到远程仓库

 Docker

虚拟化技术

虚拟化技术是对软件基础设施、操作系统、软件等IT资源进行有效的管理,使用户不再受物理资源的限制,
提高计算机资源的利用率。虚拟化技术是云计算的基础,例如阿里云的云主机、腾讯云等都应用了虚拟化技术。
虚拟化技术整体上包括两个方面:硬件虚拟化和软件虚拟化,具体分为:网络虚拟化、存储虚拟化、桌面虚拟化、
服务器虚拟化等,我们平常说的最多的是服务器虚拟化。
服务器虚拟化就是在同一个物理服务器上运行多个虚拟机,让服务器的cpu、内存、磁盘、I/O等硬件设施为每个
虚拟机服务,在每个虚拟机中运行不同的软件,虚拟机之间是隔离状态。

服务器虚拟化主要有两种技术:
1、Hypervisor也叫VMM(virtual machine monitor)即虚拟机监视器
Hypervisor是一种将操作系统与硬件抽象分离的方法,实现在宿主机(host machine)上能同时运行多个客户机
(guest machine),每个客户机就是一个虚拟机,这些虚拟机高效地分享宿主机的硬件资源。

在服务器(宿主机)上安装操作系统,并安装hypervisor虚拟机管理软件,如VMware、VirtualBox等,由
hypervisor管理多个虚拟机,每个虚拟机上需要安装客户操作系统、依赖库、应用软件。

2、Containers容器化技术

容器技术中 docker引擎取代了hypervisor,docker引擎是运行在住宿操作系统上的一个进程,该进程管理了多个
docker容器,每个docker容器集成了应用软件、依赖库,容器之间相互隔离。

3、技术对比:
资源占用:
虚拟机由于是独立的操作系统,占用资源比docker多。
启动速度:
虚拟机包括操作系统,启动虚拟机相当于启动一个操作系统,容器则不一样,容器中只包括操作系统的内核,启动
一个容器实例相当于启动一个进程,容器的启动速度比虚拟机快。
体积:
容器包括操作系统内核、软件及依赖库,虚拟机不仅包括软件和依赖库还将完整的操作系统打包进去,虚拟机的体
积比容器大的多。

部署微服务到Docker

部署流程

本项目微服务采用SpringBoot开发,将每个微服务工程打成Jar包,最终在Docker容器中运行jar,部署流程如下:
1、SpringBoot工程最终打成 Jar包
2、创建Docker镜像
3、创建容器
4、启动容器

打包

1、使用maven的打包插件:
将下边的插件依赖拷贝到微服务工程中,本例子将学成在线的Eureka工程打包:

<build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring‐boot‐maven‐plugin</artifactId>
            </plugin>
        </plugins>
    </build>

2、maven打包
在工程目录运行:mvn clear package
或通过IDEA执行clear package打包命令。

打包成功,如下图:

 创建镜像

将上一步的 jar包拷贝到Linux服务器,准备创建镜像。
测试jar包是否可以运行,执行:java -jar xc-govern-center-1.0-SNAPSHOT.jar
在xc-govern-center-1.0-SNAPSHOT.jar 位置编写Dockerfile文件

FROM java:8
ENV ARTIFACTID xc‐govern‐center
ENV ARTIFACTVERSION 1.0‐SNAPSHOT
ENV HOME_PATH /home
WORKDIR $HOME_PATH
ADD /$ARTIFACTID-$ARTIFACTVERSION.jar $HOME_PATH/$ARTIFACTID.jar
ENTRYPOINT ["java", "‐jar", "xc‐govern‐center.jar"]

在Dockerfile文件所在目录执行:

docker build -t xc-govern-center:1.0-SNAPSHOT .

创建容器

基于xc-govern-center:1.0-SNAPSHOT镜像创建容器,容器名称为xc-govern-center-test

docker create ‐‐name xc‐govern‐center‐test ‐t ‐p 50101:50101 ‐e PORT=50101 ‐e EUREKA_SERVER=http://192.168.101.64:50101/eureka/,http://192.168.101.64:50102/eureka/  xc‐
govern‐center:1.0‐SNAPSHOT

停止与删除

1 、停止正在运行的容器
docker stop 容器名/id

2、删除容器
docker rm 容器名/id

3、删除镜像
docker rmi 镜像名或镜像Id

maven构建镜像

上边构建的过程是通过手工一步一步完成,maven提供docker-maven-plugin插件可完成从打包到构建镜像、构建
容器等过程。

1、编写pom_docker.xml

 1 <?xml version="1.0" encoding="UTF‐8"?>
 2 <project xmlns="http://maven.apache.org/POM/4.0.0"
 3          xmlns:xsi="http://www.w3.org/2001/XMLSchema‐instance"
 4          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
 5 http://maven.apache.org/xsd/maven‐4.0.0.xsd">
 6     <parent>
 7         <artifactId>xc‐framework‐parent</artifactId>
 8         <groupId>com.xuecheng</groupId>
 9         <version>1.0‐SNAPSHOT</version>
10         <relativePath>../xc‐framework‐parent/pom.xml</relativePath>
11     </parent>
12     <modelVersion>4.0.0</modelVersion>
13     <artifactId>xc‐govern‐center</artifactId>
14     <version>1.0‐SNAPSHOT</version>
15     <dependencies>
16         <!‐‐ 导入Eureka服务的依赖 ‐‐>
17         <dependency>
18             <groupId>org.springframework.cloud</groupId>
19             <artifactId>spring‐cloud‐starter‐netflix‐eureka‐server</artifactId>
20         </dependency>
21     </dependencies>
22     <build>
23         <finalName>${project.artifactId}‐${project.version}</finalName>
24         <plugins>
25             <plugin>
26                 <groupId>org.springframework.boot</groupId>
27                 <artifactId>spring‐boot‐maven‐plugin</artifactId>
28             </plugin>
29  <plugin>
30                 <groupId>com.spotify</groupId>
31                 <artifactId>docker‐maven‐plugin</artifactId>
32                 <version>1.0.0</version>
33                 <!‐‐docker镜像相关的配置信息‐‐>
34                 <configuration>
35                     <!‐‐镜像名,这里用工程名‐‐>
36                     <imageName>${project.artifactId}‐${project.version}</imageName>
37                     <!‐‐Dockerfile文件所在目录‐‐>
38                     <dockerDirectory>${project.basedir}/src/main/resources</dockerDirectory>
39                     <!‐‐TAG,这里用工程版本号‐‐>
40                     <imageTags>
41                         <imageTag>${project.version}</imageTag>
42                     </imageTags>
43                     <imageName>${project.artifactId}:${project.version}</imageName>
44                     <!‐‐构建镜像的配置信息‐‐>
45                     <resources>
46                         <resource>
47                             <targetPath>/</targetPath>
48                             <directory>${project.build.directory}</directory>
49                             <include>${project.artifactId}‐${project.version}.jar</include>
50                         </resource>
51                     </resources>
52                 </configuration>
53             </plugin>
54         </plugins>
55     </build>
56 </project>
View Code

2 、将Dockerfile文件拷贝到src/main/resource下
3、删除之前创建的xc-govern-center镜像
4、进入工程根目录(pom_docker.xml所在目录)执行

mvn ‐f pom_docker.xml clean package ‐DskipTests docker:build

创建镜像成功,结果如下:

Successfully built 64682c9ba311
[INFO] Built xc‐govern‐center:1.0‐SNAPSHOT
[INFO] Tagging xc‐govern‐center:1.0‐SNAPSHOT with 1.0‐SNAPSHOT
[INFO] ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
[INFO] BUILD SUCCESS
[INFO] ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐
[INFO] Total time: 7.409 s
[INFO] Finished at: 2018‐07‐19T14:21:16+08:00
[INFO] Final Memory: 52M/414M
[INFO] ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐

持续集成

什么是持续集成

持续集成(Continuous integration)简称CI,持续集成的思想是每天要多次将代码合并到主干,并进行集成、测
试,这样就可以提早发现错误,进行修正。持久集成也属于DevOps
持续集成的好处:
1、自动化集成部署,提高了集成效率。
2、更快的修复问题。
3、更快的进行交付。
4、提高了产品质量。

本项目持续集成流程

  搭建环境

搭建Docker私有仓库

微服务的镜像会上传到Docker仓库保存,常用的公网Docker仓库有阿里云,网易云等,在企业局域网也可以搭建
自己的Docker私有仓库,本教程使用Docker提供的私有仓库 registry。
进入Docker私有仓库所在服务器执行:

1、安装Docker
2、创建私有仓库容器

docker run --name docker-registry -d -p 5000:5000 registry

访问:http://192.168.183.133:5000/v2/_catalog

响应结果如下:

{"repositories":[]}

上边的响应结果说明在docker私有仓库中还没有镜像。

默认docker-registry只允许https提交镜像,如下配置使docker-registry支持http
在/etc/docker下,创建daemon.json文件,写入:

{ "insecure‐registries":["192.168.101.64:5000"]}

重启docker:

systemctl restart docker.service

启动docker-registry

docker start docker‐registry

基于docker搭建Jenkins

Jenkins是一个领先的开源自动化服务器,可用于自动化构建,测试,部署软件等相关任务。

⒈下载镜像,要使用最新的LTS:

docker pull jenkins/jenkins:lts
docker pull jenkins/jenkins

⒉运行

docker run --name jenkins -p 8889:8080 -p 50000:50000 -v jenkins_home:/var/jenkins_home --restart always -d jenkins/jenkins:lts

⒊访问Jenkins实例

  1.访问http://192.168.183.133:8889

  2.获取初始登录密码

docker exec jenkins cat /var/jenkins_home/secrets/initialAdminPassword

从输出结果中获得的一串 Jenkins 初始密码,复制密码,填入密码

3.定制 Jenkins

  选择默认的 Install suggested plugins(安装推荐的插件) 来安装插件。

编写Pom.xml

本例子将xc-govern-center工程使用Jenkins进行构建。
在xc-govern-center工程根目录编写pom_docker_registry.xml
此文件相比工程原有pom.xml增加了docker-maven-plugin插件,其作用是构建docker镜像并将镜像推送到
Docker私有仓库(192.168.183.133:5000)。

 1 <?xml version="1.0" encoding="UTF‐8"?>
 2 <project xmlns="http://maven.apache.org/POM/4.0.0"
 3          xmlns:xsi="http://www.w3.org/2001/XMLSchema‐instance"
 4          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
 5 http://maven.apache.org/xsd/maven‐4.0.0.xsd">
 6     <parent>
 7         <artifactId>xc‐framework‐parent</artifactId>
 8         <groupId>com.xuecheng</groupId>
 9         <version>1.0‐SNAPSHOT</version>
10         <relativePath>../xc‐framework‐parent/pom.xml</relativePath>
11 </parent>
12     <modelVersion>4.0.0</modelVersion>
13     <artifactId>xc‐govern‐center</artifactId>
14     <version>1.0‐SNAPSHOT</version>
15     <dependencies>
16         <!‐‐ 导入Eureka服务的依赖 ‐‐>
17         <dependency>
18             <groupId>org.springframework.cloud</groupId>
19             <artifactId>spring‐cloud‐starter‐netflix‐eureka‐server</artifactId>
20         </dependency>
21     </dependencies>
22     <build>
23         <finalName>${project.artifactId}‐${project.version}</finalName>
24         <plugins>
25             <plugin>
26                 <groupId>org.springframework.boot</groupId>
27                 <artifactId>spring‐boot‐maven‐plugin</artifactId>
28             </plugin>
29             <plugin>
30                 <groupId>com.spotify</groupId>
31                 <artifactId>docker‐maven‐plugin</artifactId>
32                 <version>1.0.0</version>
33                 <!‐‐docker镜像相关的配置信息‐‐>
34                 <configuration>
35                     <!‐‐镜像名,这里用工程名‐‐>
36                     <imageName>${project.artifactId}‐${project.version}</imageName>
37                     <!‐‐Dockerfile文件所在目录‐‐>
38                     <dockerDirectory>${project.basedir}/src/main/resources</dockerDirectory>
39                     <!‐‐TAG,这里用工程版本号‐‐>
40                     <imageTags>
41                         <imageTag>${project.version}</imageTag>
42                     </imageTags>
43                     <registryUrl>192.168.101.64:5000</registryUrl>
44                     <pushImage>true</pushImage>
45                     <imageName>192.168.101.64:5000/${project.artifactId}:${project.version}
46 </imageName>
47                     <!‐‐构建镜像的配置信息‐‐>
48                     <resources>
49                         <resource>
50                             <targetPath>/</targetPath>
51                             <directory>${project.build.directory}</directory>
52                             <include>${project.artifactId}‐${project.version}.jar</include>
53                         </resource>
54                     </resources>
55                 </configuration>
56             </plugin>
57         </plugins>
58     </build>
59 </project>
View Code

 创建持续集成任务

创建学成在线的构建任务:

 配置git仓库

1、配置git凭证
此凭证用于远程从git仓库克隆工程源代码
输入git仓库的账号和密码,这里如果使用码云,下边需要配置码云的账号和密码。

 2、配置git仓库地址,此地址即xc-edu项目的地址

 maven构建配置

目标:
使用jenkins重复构建不要产生重复镜像
使用jekins停止容器、删除容器、删除镜像之间进行判断

shell脚本如下:

#!/bin/bash
result=$(docker ps | grep "192.168.101.64:5000/xc‐govern‐center")
if [[ "$result" != "" ]]
then
echo "stop xc‐govern‐center"
docker stop xc‐govern‐center
fi
result1=$(docker ps ‐a | grep "192.168.101.64:5000/xc‐govern‐center")
if [[ "$result1" != "" ]]
then
echo "rm xc‐govern‐center"
docker rm xc‐govern‐center
fi
result2=$(docker images | grep "192.168.101.64:5000/xc‐govern‐center")
if [[ "$result2" != "" ]]
then
echo "192.168.101.64:5000/xc‐govern‐center:1.0‐SNAPSHOT"
docker rmi 192.168.101.64:5000/xc‐govern‐center:1.0‐SNAPSHOT
fi

  

 2、执行maven构建:

 执行如下maven指令:

clean package ‐f xc‐govern‐center/pom_docker_registry.xml  ‐DskipTests docker:build

3、拉取镜像,创建容器,启动容器
从docker私有仓库拉取镜像并创建容器,启动容器
显示容器运行日志

docker run ‐‐name xc‐govern‐center ‐p 50101:50101 ‐idt 192.168.101.64:5000/xc‐govern‐center:1.0‐
SNAPSHOT
docker logs ‐f xc‐govern‐center

执行任务

1、进入任务页面,点击“立即构建”

 2、开始构建,查看日志

猜你喜欢

转载自www.cnblogs.com/anan-java/p/12335191.html
今日推荐