jacoco+sonarQube+sonar-scanner+ant+jenkins环境搭建

---

title: jacoco+sonarQube+sonar-scanner+ant+jenkins环境搭建
tags: jacoco,sonarQube,sonar-scanner,ant,jenkins
grammar_cjkRuby: true

这里主要介绍集成和系统测试覆盖率环境搭建，并简单介绍各个工具。
关于单元测试的覆盖率监控(只需要修改ant或maven配置即可)，下一篇说明

环境准备

需要环境

jdk1.8+
centos 7
posgresql 9.6

工具下载

jacoco 0.8.2 https://www.eclemma.org/jacoco/
ant 1.10.5 https://ant.apache.org/bindownload.cgi
sonarQube 7.4 https://www.sonarqube.org/
sonar-scanner 3.2 https://docs.sonarqube.org/display/SCAN/Analyzing+with+SonarQube+Scanner
jenkins 2.147 https://jenkins.io/

1.官方文档

官方文档中内容很全，大部分都可以参考配置。

1.1.jacoco官方文档

https://www.eclemma.org/jacoco/trunk/doc/

1.2.sonarQube Analysis Parameters 参考文档

https://docs.sonarqube.org/latest/analysis/analysis-parameters/

1.3.sonar-scanner 参考文档

https://docs.sonarqube.org/display/SCAN/Analyzing+with+SonarQube+Scanner

2.基础环境配置安装

2.0.服务配置说明

服务器A：jenkins、ant、sonar-scanner 以及 jacocoant.jar文件，分析覆盖率、生成报告、上传平台、持续集成
服务器B：单独搭建 sonarQube服务,sonarQube的平台，用户展示数据
服务器C：被监控应用程序 以及 jacocoagent.jar文件 ，jacocoagent代理监控覆盖率并提供服务给服务器A来获取

2.1.搭建步骤一-jenkins安装配置（rpm安装）

这里介绍简单的安装，有问题自行百度，下载rpm包，传到服务器，执行安装命令

rpm -ih jenkins-2.147.noarch.rpm

自动安装完成之后目录：
/usr/lib/jenkins/jenkins.war WAR包
/etc/sysconfig/jenkins 配置文件
/var/lib/jenkins/ 默认的JENKINS_HOME目录
/var/log/jenkins/jenkins.log Jenkins日志文件

相关命令：

service jenkins start/stop/restart/status 
启动/停止/重启/查看状态

2.2.搭建步骤二-ant和sonar-scanner环境变量

解压ant和sonar-scanner到 jenkins 服务器上。
编辑/etc/profile和/etc/bashrc，末尾加入，并保存：

export ANT_HOME=/usr/apache-ant-1.10.5
export PATH=$PATH:$ANT_HOME/bin
export SONAR_SCANNER_HOME=/data/sonar-scanner-3.2.0.1227-linux
export PATH=$PATH:$SONAR_SCANNER_HOME/bin

source /etc/profile和/etc/bashrc 使配置生效

[root@centos-7 ~]# source /etc/bashrc
[root@centos-7 ~]# source /etc/profile

验证输入ant和 sonar-scanner 命令验证配置是否成功：

[root@centos-7 ~]# ant -version
Apache Ant(TM) version 1.10.5 compiled on July 10 2018
[root@centos-7 ~]# sonar-scanner -h
INFO: 
INFO: usage: sonar-scanner [options]
INFO: 
INFO: Options:
INFO:  -D,--define <arg>     Define property
INFO:  -h,--help             Display help information
INFO:  -v,--version          Display version information
INFO:  -X,--debug            Produce execution debug output

2.3.搭建步骤三-sonarQube安装配置。

2.3.1.基础配置

解压到服务器（和jenkins不需要同一台），

创建sonar用户（sonarQube不能在ROOT下运行 会报错）：

 #创建用户
 adduser sonarUser 
 #设置密码
 pwdword  sonarUser
 #修改目录所有者
 chown -R sonarUser:sonarUser sonarqube-7.4
 #切换到 sonar用户
 su sonarUser
 执行命令：
 sonarqube-7.4/bin/linux-x86-64/sonar.sh start

浏览器输入：http://服务器IP:9000 能出现页面即可。
初始账号密码： admin admin
如不能访问请查看logs下日志,或者后面的常见问题

2.3.2.数据库配置

首先postgresql数据库中 创建sonar数据库 并指定数据库名即可。
数据库用户名密码 要写在最前面 否则会报错无法连接。
sonarqube-7.4/conf/sonar.properties

sonar.jdbc.username=postgres
sonar.jdbc.password=aorise

sonar.jdbc.url=jdbc:postgresql://10.16.4.57:5432/sonar?currentSchema=public

sonar.sorceEncoding=UTF-8
sonar.login=admin
sonar.password=admin

重启服务

sonarqube-7.4/bin/linux-x86-64/sonar.sh restart

稍微等待长一段时间，需要创建表，访问地址能进入。并且查看数据库有创建相关表。
初始账号密码： admin admin

2.3.3.services和开机自启动服务配置

系统基本service服务配置目录（此目录勿动，一般情况下只放系统核心基础服务配置，否存放应用注册类服务配置）：
/etc/systemd/system
CentOS7的服务systemctl脚本存放在:/usr/lib/systemd/,
有系统（system）和用户（user）之分,需要开机不登陆就能运行的程序，存在系统服务里，即：/usr/lib/systemd/system目录下。

配置过程如下：
我们配置带自启动功能的service 所以目录为：/usr/lib/systemd/system
1、进入目录并编辑创建 sonarQube.service
cd /usr/lib/systemd/system
vim sonarQube.service
2、输入如下内容，并保存：

[Unit]
Description=sonarQube
#顾名思义，在网络加载完成后触发
After=network.target

[Service]
#指定执行用户信息
User=sonarUser
Group=sonarUser
#执行模式
Type=forking
#指定pid文件，只需要修改路径和 sonar.sh文件一致
PIDFile=/data/sonarqube-7.4/bin/linux-x86-64/SonarQube.pid
#指定start和stop方法的执行命令
ExecStart=/data/sonarqube-7.4/bin/linux-x86-64/sonar.sh start
ExecStop=/data/sonarqube-7.4/bin/linux-x86-64/sonar.sh stop
#允许使用临时空间，一般为true
PrivateTmp=true

[Install]
WantedBy=multi-user.target

3、配置开机启动和相关命令

#配置文件路径
/usr/lib/systemd/system/sonarQube.service
#开机启动或者取消开机启动
systemctl  enable/disable sonarQube.service
#使用systemctl和 service均可以启动停止服务
service sonarQube start/stop/restart
systemctl  start/stop/restart sonarQube.service
#原始的使用sh文件启动 依然可用
/data/sonarqube-7.4/bin/linux-x86-64/sonar.sh start(stop status restart)

2.3.4.常见错误：

logs目录下查看日志
1、无法使用root用户启动： 完成基础配置，创建基础用户并修改文件夹所有权。
2、报错部分文件没有权限： 重新对目录执行 chown -R sonarUser:sonarUser sonarqube-7.4（有可能是 中途错误的使用root用户启动了服务，产生了临时文件权限是root。）
3、报错数据库连接不上： 数据库配置错误，且数据库账号密码一定要写到url的前面。
4、如果配置的是mysql数据库，执行大项目的时候，执行过程正常但最后报告上传失败： 修改mysql配置文件中的max_allowed_packet=50M（大小依据log显示的报告大小）。重启mysql
5、部分项目使用mysql把max_allowed_packet修改到足够大了，依然无法上传： 这个问题还没解决 换到了postgresql 没这个问题

3.jacoco和ant

3.1.简介

jacoco用来监控覆盖率 结合ant完成 dump（生成exec数据文件） 和 report操作（生成报告）。
Java Agent 可以通过如下的JVM参数来启动：
-javaagent:[yourpath/]jacocoagent.jar=[opt1]=[val1],[opt2]=[val2]
其中：
output=file/tcpserver/tcpclient
1，文件，当JVM退出时将执行数据写到本地
2，TCP Socket Server,以外部工具的形式连接JVM，通过socket获取执行数据。作为一个server服务器发布出去，可以从此处获取数据。
3，TCP Sockect Client，程序启动时Agent连接到TCP端点，通过request将执行数据输出。

结合官网中 Java Agent 相关参数说明，得到我们最终需要的命令如下：

#分别指定使用tcpserver模式，指定端口（确保没有被占用）和ip地址（一般本地）
-javaagent:/data/javaweb/jacocoagent.jar=output=tcpserver,port=8893,address=10.16.3.10

3.2.监控服务启动代理

1、将下载的jacoco解压，jacocoagent.jar传到需要监控覆盖率的应用服务器
2、在服务jvm启动参数中添加 （tomcat需要修改catalina.sh中的JAVA_OPTS参数）

-javaagent:/data/javaweb/jacocoagent.jar=output=tcpserver,port=8893,address=10.16.3.10

address 一般为本机地址，port为暴露的端口 后续使用。
注意，建议加载jvm参数的最前面，加载中级可能不起作用。如：

#这个是有校的：
java -javaagent:/data/javaweb/jacocoagent.jar=output=tcpserver,port=8893,address=10.16.3.10 -jar /data/javaweb/edu-teaching.jar --spring.profiles.active=test
#这个是无效的：
java  -jar /data/javaweb/edu-teaching.jar -javaagent:/data/javaweb/jacocoagent.jar=output=tcpserver,port=8893,address=10.16.3.10 --spring.profiles.active=test

3、启动应用服务器,如：

java -javaagent:/data/javaweb/jacocoagent.jar=output=tcpserver,port=8893,address=10.16.3.10 -jar /data/javaweb/edu-teaching.jar --spring.profiles.active=test

4、检查是否代理成功：
如下检查对应端口监听起来了，并且进程正常即可

[root@edu-teaching-rel ~]# netstat -ano |grep 8893
tcp6       0      0 10.16.4.40:8893         :::*                    LISTEN      off (0.00/0/0)
[root@edu-teaching-rel ~]# ps -ef|grep jacoco
root      2006  1978  0 14:43 pts/0    00:00:00 grep --color=auto jacoco
root     30233     1  0 Nov23 ?        00:08:31 java -javaagent:/data/javaweb/jacocoagent.jar=output=tcpserver,port=8893,address=10.16.4.40 -jar /data/javaweb/edu-vehicle.jar --spring.profiles.active=test

3.3.ant配置和构建

进入ant安装的服务器
1、创建一个工作目录如：jacocowork，并把jacocoant.jar放入目录
2、进入目录 创建并编辑文件：build.xml
参考jacoco官方文档中的ant配置，
做如下配置，详情参考官方文档和下面的注解：

<?xml version="1.0" ?>
<project name="QAWebPortal" xmlns:jacoco="antlib:org.jacoco.ant" default="jacoco">
  <!--远程tomcat服务的ip地址-->
  <property name="server_ip" value="10.16.3.10"/>
  <!--前面配置的远程tomcat服务打开的端口,要跟上面配置的一样-->
  <property name="server_port" value="8893"/>
<!--构建路径build.xml文件的路径-->
 <property name="buildPath" value="."/>
    <!--Jacoco的安装路径-->
  <property name="jacocoantPath" value="${buildPath}/jacocoant.jar"/>
  <!--最终生成.exec文件的路径,Jacoco就是根据这个文件生成最终的报告的-->
  <property name="jacocoexecPath" value="${buildPath}/jacoco.exec"/>
    <!--生成覆盖率报告的路径-->
  <property name="reportfolderPath" value="${buildPath}/coverage_ant_task/report/"/>
    <!--生成XML报告的名字-->
  <property name="reportfolderXmlFile" value="xmlReport.xml"/>
  <!--源代码路径-->
  <property name="checkOrderSrcpath" value="${buildPath}/smart-city-vehicle/src/main/java" />
  <!--.class文件路径-->
  <property name="checkOrderClasspath" value="${buildPath}/smart-city-vehicle/build/classes" />
  <!--让ant知道去哪儿找Jacoco-->
  <taskdef uri="antlib:org.jacoco.ant" resource="org/jacoco/ant/antlib.xml">
      <classpath path="${jacocoantPath}" />
  </taskdef>

  <!--dump任务:
      根据前面配置的ip地址,和端口号,
      访问目标tomcat服务,并生成.exec文件。-->
  <target name="dump">
      <jacoco:dump address="${server_ip}" reset="false" destfile="${jacocoexecPath}" port="${server_port}" append="true"/>
  </target>

  <!--jacoco任务:
      根据前面配置的源代码路径和.class文件路径,
      根据dump后,生成的.exec文件,生成最终的html覆盖率报告。-->
  <target name="report">
      <delete dir="${reportfolderPath}" />
      <mkdir dir="${reportfolderPath}" />
      <jacoco:report>
          <executiondata>
              <file file="${jacocoexecPath}" />
          </executiondata>
          <structure name="JaCoCo Report">
              <group name="Check qaportal related">           
                  <classfiles>
                      <fileset dir="${checkOrderClasspath}" />
                  </classfiles>
                  <sourcefiles encoding="utf-8">
                      <fileset dir="${checkOrderSrcpath}" />
                  </sourcefiles>
              </group>
          </structure>
			<!--生成htmlreport和xmlreport，自行选择需要的-->
          <html destdir="${reportfolderPath}" encoding="utf-8" />         
			<html destfile="${reportfolderPath}/${reportfolderXmlFile}" encoding="utf-8" />   
      </jacoco:report>
  </target>
</project>

3、进入目录，执行 ant dump 生成.exec文件数据文件
4、进入目录，执行 ant report 生成报告
5、进入报告目录，点击index.html即可打开

4.sonarQube和sonar-scanner

4.1.简介

sonarQube用于展示代码测试质量，以及覆盖率。
sonar-scanner 在本地扫描代码，覆盖率数据文件后上传到sonarQube中。

4.2.基础配置

1、把项目源码和class文件均拷贝到，工作目录
2、工作目录下，新增sonar-project.properties，并编辑，保存（下面涉及到相对目录的都是以工作目录为基础）：
参考官方分析参数文档

#sonarqube的地址
sonar.host.url=http://10.16.3.26:9000
# SonarQube 中唯一表示，must be unique in a given SonarQube instance
sonar.projectKey=smart-city-vehicle-coverage
# ui里面显示的项目名称，this is the name displayed in the SonarQube UI
sonar.projectName= smart-city-vehicle-coverage
#版本号
sonar.projectVersion=1.1

#XML报告地址
#sonar.coverage.jacoco.xmlReportPaths=report.xml
#用户名密码，或者用token代替
sonar.login=${SONAR_AUTH_TOKEN}
#sonar.password=admin
#语言
sonar.language=java
#源码位置
sonar.sources=smart-city-vehicle/src/main/java
#sonar.java.sources=src/main/java
#class文件位置
sonar.java.binaries=smart-city-vehicle/build/classes

#源码的编码
sonar.sourceEncoding=UTF-8

#设置源码覆盖工具
sonar.java.coveragePlugin=jacoco
#设置源码覆盖数据
sonar.jacoco.reportPaths=jacoco.exec

4.3.执行

1、执行ant dump 生成 .exec数据文件（不需要report，sonar只依赖数据文件，然后生成）
2、工作目录下执行sonar-scanner 既可以自动完成
3、进入并登陆sonarQube 网站即可看到项目数据

5.集成到jenkins

5.1.Jenkins环境准备

1、安装插件：JaCoCo plugin、Ant Plugin、SonarQube Scanner for Jenkins
2、系统管理-全局工具配置： 配置ant信息如图：

3、系统管理-系统设置中配置：SonarQube servers：
token从SonarQube获取：个人头像-我的账号-安全-生成令牌

4、系统管理-全局工具配置： 配置SonarQube Scanner信息如图：

5.2.配置项目

1、创建一个自由风格的项目
2、将需要监控项目的源码、class文件、jacocoant.jar放到此项目工作目录下

5.3.ant集成至jenkins

1、工作目录下，创建并编辑文件：build.xml：
和前面的XML不同，没有预定义各种参数的值，因为这些值从jenkins中注入更好操作。（参考下一步中Properties）

<?xml version="1.0" ?>
<project name="QAWebPortal" xmlns:jacoco="antlib:org.jacoco.ant" default="jacoco">
  <!--让ant知道去哪儿找Jacoco-->
  <taskdef uri="antlib:org.jacoco.ant" resource="org/jacoco/ant/antlib.xml">
      <classpath path="${jacocoantPath}" />
  </taskdef>
  <!--dump任务:
      根据前面配置的ip地址,和端口号,
      访问目标tomcat服务,并生成.exec文件。-->
  <target name="dump">
      <jacoco:dump address="${server_ip}" reset="false" destfile="${jacocoexecPath}" port="${server_port}" append="true"/>
  </target>
  <!--jacoco任务:
      根据前面配置的源代码路径和.class文件路径,
      根据dump后,生成的.exec文件,生成最终的html覆盖率报告。-->
  <target name="report">
      <delete dir="${reportfolderPath}" />
      <mkdir dir="${reportfolderPath}" />
      <jacoco:report>
          <executiondata>
              <file file="${jacocoexecPath}" />
          </executiondata>
          <structure name="JaCoCo Report">
              <group name="Check qaportal related">           
                  <classfiles>
                      <fileset dir="${checkOrderClasspath}" />
                  </classfiles>
                  <sourcefiles encoding="utf-8">
                      <fileset dir="${checkOrderSrcpath}" />
                  </sourcefiles>
              </group>
          </structure>
          <html destdir="${reportfolderPath}" encoding="utf-8" />         
			<html destfile="${reportfolderPath}/${reportfolderXmlFile}" encoding="utf-8" />   
      </jacoco:report>
  </target>
</project>

2、添加构建步骤：invoke ant
Version: 选择配置好的 ant版本
targets: dump
Build File: build.xml
Properties: 如下

#远程jacocoagent服务启动后的地址
server_ip=10.16.4.40
#远程jacocoagent服务启动后的端口
server_port=8893
#jacocoant.jar的安装路径，可以为绝对和相对地址都可以
jacocoantPath=jacocoant.jar
#以下下所有地址建议都使用相对于WORCKSPACE的相对地址，因为后面的jenkins jacoco插件只支持相对路径。
#最终生成.exec文件的路径,Jacoco就是根据这个文件生成最终的报告的
jacocoexecPath=jacoco.exec
#生成覆盖率报告的路径
reportfolderPath=coverage_ant_task/report
reportfolderXmlFile=report.xml
#源代码路径
checkOrderSrcpath=smart-city-vehicle/src/main/java
#class编译后文件路径
checkOrderClasspath=smart-city-vehicle/build/classes

3、再次添加构建步骤：invoke ant （可以不要这一步）
Version: 选择配置好的 ant版本
targets: report
Build File: build.xml
Properties: 和上一部一样

4、保存执行立即构建，能执行成功即可（看日志成功）

5.4.集成jacoco

1、上一步基础上，新增构建后步骤record jacoco coverage report 如图：

2、 很简单的配置 exec 文件路径，class文件路径 源文件路径即可。
3、构建项目，可以看到下图效果：


4、点击编辑视图添加列jacoco branch coverage和jacoco line coverage，可以看到如下效果：

5.5 集成sonar

1、勾选构建环境-Prepare SonarQube Scanner environment（这个选项会把系统管理-系统设置中配置：SonarQube servers中设置的数据注入到以下环境变量）：

SONAR_HOST_URL url地址
SONAR_AUTH_TOKEN  token令牌
SONAR_EXTRA_PROPS 输入的额外参数
SONAR_MAVEN_GOAL - supplies the correct Maven goal based on the "Version of sonar-maven-plugin" specified for the SonarQube instance.

2、构建步骤中新增 execute sonarqube scanner
Task to run： 留空即可
JDK： 设置jdk 或者 inherit from job
Path to project properties： 留空
Analysis properties：

#sonarqube的地址
sonar.host.url=${SONAR_HOST_URL}
# SonarQube 中唯一表示，must be unique in a given SonarQube instance
sonar.projectKey=smart-city-vehicle-coverage
# ui里面显示的项目名称，this is the name displayed in the SonarQube UI
sonar.projectName= smart-city-vehicle-coverage
#版本号
sonar.projectVersion=1.1

#XML报告地址
#sonar.coverage.jacoco.xmlReportPaths=report.xml
#用户名密码，或者用token代替
sonar.login=${SONAR_AUTH_TOKEN}
#sonar.password=admin
#语言
sonar.language=java
#源码位置
sonar.sources=smart-city-vehicle/src/main/java
#sonar.java.sources=src/main/java
#class文件位置
sonar.java.binaries=smart-city-vehicle/build/classes
# Encoding of the source code. Default is default system encoding
#源码的编码
sonar.sourceEncoding=UTF-8

#Set jacoco Configuration
#Code coverage tool
sonar.java.coveragePlugin=jacoco
#Path to the JaCoCo report file containing coverage data by unit tests. The path may be absolute or relative to the project base directory
sonar.jacoco.reportPaths=jacoco.exec

3、构建项目，可以看到如下效果，显示sonarqube图标：

4、点击图标，跳转进入sonarqube 指定项目，并且显示代码质量和覆盖率信息，如图：