案例 | 如何以Sonar为例创建一个适用与所有企业的测试步骤

Posted 云效

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了案例 | 如何以Sonar为例创建一个适用与所有企业的测试步骤相关的知识，希望对你有一定的参考价值。

云效Flow中一个流水线运行的镜像被称为一个“步骤”，步骤是有一段描述 yaml 和一个 docker 镜像组成的一个最小运行单元，云效流水线 Flow中CLI 工具作为自定义步骤的进阶，以 Sonar 为例创建一个用于测试/扫描的步骤，并开放给所有企业。
 

准备

  • 一个公网可访问的 Sonar 服务。
  • 一个用于测试的代码库，以 maven 项目为例，确保 pom 文件中引入了 sonar 插件：
<build>
    <pluginManagement>
        <plugins>
            <plugin>
                <groupId>org.sonarsource.scanner.maven</groupId>
                <artifactId>sonar-maven-plugin</artifactId>
                <version>3.4.0.905</version>
            </plugin>
        </plugins>
    </pluginManagement>
</build>

本地开发

参照Flow cli搭建好开发环境，初始化一个步骤：

flow step init sonar-qubeBash

sona-qubeBash 目录下会有三个文件

 

 

 Dockerfile 用于构建步骤镜像，Dockerfile 中的基础镜像为云效提供的基础镜像，里面已经内置了一些软件，尽量不要更改基础镜像，如需更改基础镜像，请确保新的基础镜像中安装了jq.

step.sh 为在步骤中执行的脚本

step.yaml 用户描述步骤信息

前端

编辑sonar-qube文件夹下面的step.yaml：
注意：image 需要改成用户自己的镜像地址，且必须为公开pull权限

 

---
name: SonarQube(预发)
sign: sonar-qube-staging
description: SonarQube用于测试公开步骤
category: 静态扫描
image: registry.cn-beijing.aliyuncs.com/build-steps/sonar-qube-staging:1.0
items:
  - label: Sonar服务器地址
    name: STEP_SONAR_HOST
    type: input

　　

name 用于定义步骤名称

sign 步骤唯一标识，全局唯一

category 步骤分类

image 步骤镜像地址，image 需要改成用户自己的镜像地址，且必须为公开pull权限

items: 步骤语言描述 请参考步骤语言Yaml描述。

 校验 Yaml，在 sonar-qube 文件夹下执行：

flow step valid

没有任何输出表示校验通过。

 后端

 编辑Dockerfile：

FROM registry.cn-beijing.aliyuncs.com/rdc-builds/oracle-jdk:1.8
MAINTAINER jintang <yidong.dyd@alibaba-inc.com>
COPY .step/*.sh /root/COPY sonar-qube/step.sh /root/step.sh
RUN chmod +x /root/*.sh
ENTRYPOINT [ "/root/entry.sh"]

　　

请确保基础镜像中已经安装jq。

编辑sonar-qube文件夹下面的step.sh：

 

#!/bin/bash
set -e

export SONAR_INFO=$WORK_SPACE/sonar_info.json

# 系统提供参数，从流水线上下文获取
echo [INFO] PIPELINE_ID=$PIPELINE_ID       # 流水线ID
echo [INFO] PIPELINE_NAME=$PIPELINE_NAME   # 流水线名称
echo [INFO] BUILD_NUMBER=$BUILD_NUMBER     # 流水线运行实例编号
echo [INFO] EMPLOYEE_ID=$EMPLOYEE_ID       # 触发流水线用户ID
echo [INFO] WORK_SPACE=$WORK_SPACE         # /root/workspace容器中目录
echo [INFO] PROJECT_DIR=$PROJECT_DIR       # 代码库根路径，默认为/root/workspace/code
echo [INFO] PLUGIN_DIR=$PLUGIN_DIR         # 插件路径，默认为/root/workspace/plugins
echo [INFO] BUILD_JOB_ID=$BUILD_JOB_ID     # build-service 任务ID

cd $PROJECT_DIR

mvn install -DskipTests
mvn sonar:sonar -Dsonar.host.url=$STEP_SONAR_HOST

STEP_PROJECT_GROUP_ID=`mvn -q -Dexec.executable=echo -Dexec.args=\'${project.groupId}\' --non-recursive exec:exec 2>/dev/null`
STEP_PROJECT_ARTIFACT_ID=`mvn -q -Dexec.executable=echo -Dexec.args=\'${project.artifactId}\' --non-recursive exec:exec 2>/dev/null`

curl $STEP_SONAR_HOST/api/measures/search\\?projectKeys\\=$STEP_PROJECT_GROUP_ID%3A$STEP_PROJECT_ARTIFACT_ID\\&metricKeys\\=alert_status%2Cbugs%2Creliability_rating%2Cvulnerabilities%2Csecurity_rating%2Ccode_smells%2Csqale_rating%2Cduplicated_lines_density%2Ccoverage%2Cncloc%2Cncloc_language_distribution > $SONAR_INFO

STEP_SONAR_BUGS=`jq -r \'.measures[] | select(.metric == "bugs") | .value\' $SONAR_INFO`
STEP_SONAR_VULNERABILITIES=`jq -r \'.measures[] | select(.metric == "vulnerabilities") | .value\' $SONAR_INFO`
STEP_SONAR_SMELLS=`jq -r \'.measures[] | select(.metric == "code_smells") | .value\' $SONAR_INFO`
STEP_SONAR_COVERAGE=`jq -r \'.measures[] | select(.metric == "coverage") | .value\' $SONAR_INFO`


redline Bugs:缺陷:$STEP_SONAR_BUGS:Error Vulnerabilities:漏洞:$STEP_SONAR_VULNERABILITIES:Warning Smells:坏味道:$STEP_SONAR_SMELLS:Warning Coverage:覆盖率:$STEP_SONAR_COVERAGE:Default Report:$STEP_SONAR_HOST/dashboard?id=$STEP_PROJECT_GROUP_ID%3A$STEP_PROJECT_ARTIFACT_ID

　　

  • set -e 表示运行过程中遇到任何错误步骤即错误退出，随机流水线也会中断运行

  • cd $PROJECT_DIR 表示进入代码库所在路径

  • mvn install -DskipTests 安装 maven 依赖

  • mvn sonar:sonar -Dsonar.host.url=$STEP_SONAR_HOST 执行 Sonar 扫描

  • redline ... 影响前端显示，最终会在日志里形成下列输出：

 

 

 

左侧每一个元素对应右侧三行输出，分别为：
  • STATE_NAME_xxx: 字段名称
  • STATE_VALUE_xxx：字段值
  • STATE_STYLE_xxx：字段样式（Error: 红色，Warning: 橙色，Default: 灰色）
STATE_URL___REPORT为报告链接，在前端显示为报告按钮，点击调整到值对应的 Url。
 
redline 这个方法主要作用是将输入结构简单化，并会自动解析红线。以空格为分隔，每段字符包含<key>:<name>:<value>:<style> ，报告格式为： Report:<url>。
 
如果想上传本地文件生成报告链接，可以在自定义步骤后追加“报告上传”步骤。
 

本地运行

步骤的本质是一个容器镜像，因此可以在本地运行，flow cli 帮助在本地模拟一个和流水线上运行相似的环境，包括挂载代码路径、缓存以及一些流水线上下文环境变量。在sonar-qube文件夹下执行:
flow step runBash

　　

输入STEP_SONAR_HOST，CHECK_REDLINES和workspace三个变量，步骤即可在本地运行。

CHECK_REDLINES 举例：

[{\\"identifier\\":\\"10_1581409320500__10_1581421770772__CHECK_REDLINES__0\\",\\"key\\":\\"Bugs\\",\\"type\\":\\"LE\\",\\"threshold\\":0},{\\"identifier\\":\\"10_1581409320500__10_1581421770772__CHECK_REDLINES__1\\",\\"key\\":\\"Vulnerabilities\\",\\"type\\":\\"GE\\",\\"threshold\\":2}]Bash

identifier 为步骤唯一标识，可以是随机字符串，key 为待校验字段，type 为枚举字段，分别标识：LE: 实际值小于等于期望值；GE: 实际值大于等于期望值；EQ 实际值等于期望值；thredshold 为期望值。

 

你可以通过日志输出观察运行情况以及在$WORK_SPACE/params里是否得到预期的返回。

  • 这个命令会执行 docker build, docker run 两个命令以在本地运行步骤。

  • 输入的参数会换存到sonar-qube/params.env文件内，无需每次输出。

  • 多次运行 maven 依赖会缓存到本地~/.m2。

  • 运行时输入的 workspace 对应到本地的一个绝对路径，会被 mount 到容器中 /root/workspace/code 路径下，这个路径在流水线运行时为可变路径，可以在 step.sh 中使用 $PROJECT_DIR 变量获得

企业内使用

 在sonar-qube文件夹下执行：

flow step publishBash

该命令会执行 docker build, docker push 两个命令以发布步骤镜像，同时将步骤信息（yaml）同步到企业下的步骤列表。执行以下命令查看列表

  
flow step lsPlain Text

 

同时进入企业流水线编辑页面，可以在添加步骤->自定义步骤中看到 SonarQube 这个步骤。

 

 

 

 这个步骤可以和系统提供的其他步骤一样使用：

 

 

跨企业共享步骤

开放步骤给所有 Flow 的企业，在sonar-cube所在目录下执行：

flow step public sonar-qubeflow step lsPlain Text

 

 

 

 可以看到sonar-cube步骤的状态变为了PORCESSING，这个时候需要等待云效的工作人员进行人工审核，一段时间后步骤状态再次变为PRIVATE，使用命令flow step search可以查看到一个sonar-qube-<regionId>的步骤说明步骤被成功公开，如果审核不通过，会在 云效 页面右上角的通知栏里告知审核未通过原因。

步骤公开成功后得到两个步骤，一个为企业内可见的自定义步骤，sign 为sonar-qube，一个为公开步骤，sign 为sonar-qube-<regionId>，如果想要更新线上步骤，需要再执行一次flow step public，所有步骤历史版本都会保留，通过通过flow step version <sign>可以查看步骤版本，flow step get <sign> -v <version>可以查看该步骤历史版本详细信息。

sonar-qube显示在步骤编辑页中自定义步骤栏，sonar-qube-<regionId>显示类别位置由step.yaml中的 category 字段决定：

 

 

云效流水线 Flow中CLI 工具作为自定义步骤的进阶，以 Sonar 为例创建一个用于测试/扫描的步骤，并开放给所有企业。云效Flow企业级持续集成和持续交付工具，通过构建自动化、集成自动化、验证自动化、部署自动化，完成从开发到上线CICD过程。通过持续向团队提供及时反馈，让交付过程高效顺畅。

　　

配置sonar和jenkins进行代码审查

转自：  http://www.cnblogs.com/gao241/p/3190701.html， 版权归原作者所有。

本文以CentOS操作系统为例介绍Sonar的安装配置，以及如何与Jenkins进行集成，通过pmd-cpd、checkstyle、findbugs等工具对代码进行持续审查。

一、安装配置sonar

1、Sonar介绍

Sonar是一个用于代码质量管理的开源平台，用于管理Java源代码的质量。通过插件机制，Sonar 可以集成不同的测试工具，代码分析工具，以及持续集成工具，比如pmd-cpd、checkstyle、findbugs、Jenkins。通过不同的插件对这些结果进行再加工处理，通过量化的方式度量代码质量的变化，从而可以方便地对不同规模和种类的工程进行代码质量管理。

同时 Sonar 还对大量的持续集成工具提供了接口支持，可以很方便地在持续集成中使用 Sonar。

此外，Sonar 的插件还可以对 Java 以外的其他编程语言提供支持，对国际化以及报告文档化也有良好的支持。

2、配置数据库

Apache Derby 是Sonar自带并且默认安装使用的数据库，此外Sonar对如下数据库提供支持：MySQL 5.x, Oracle 10g XE, Postgresql, MS SqlServer等，本文以mysql为例介绍如何配置数据库： 

1）创建数据库

在mysql中执行如下脚本创建数据库及mysql用户

CREATE DATABASE sonar CHARACTER SET utf8 COLLATE utf8_general_ci;
 
CREATE USER ‘sonar‘ IDENTIFIED BY ‘sonar‘;
GRANT ALL ON sonar.* TO ‘sonar‘@‘%‘ IDENTIFIED BY ‘sonar‘;
GRANT ALL ON sonar.* TO ‘sonar‘@‘localhost‘ IDENTIFIED BY ‘sonar‘;
FLUSH PRIVILEGES;

2）编辑${SONAR_HOME}/conf/sonar.properties配置数据库:

技术分享
技术分享
sonar.jdbc.username:                       sonar
sonar.jdbc.password:                       sonar
sonar.jdbc.url:                            jdbc:mysql://localhost:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true

# Optional properties
sonar.jdbc.driverClassName:                com.mysql.jdbc.Driver
技术分享
技术分享

3）配置DB驱动包

如果使用Oracle数据库，必须手动复制驱动类到${SONAR_HOME}/extensions/jdbc-driver/oracle/目录下。其它支持的数据库默认提供了驱动，http://docs.codehaus.org/display/SONAR/Analysis+Parameters 列举了一些常用的配置及默认值.

4）常见错误及解决方法

添加语言包后，启动报错分析：

下载安装 sonar-l10n-zh-plugin-1.4.jar 语言包(http://docs.codehaus.org/display/SONAR/Chinese+Pack)，重新打包部署后，后台报错如下：

Error in Sonar.log : 2012.10.25 14:39:15 INFO org.sonar.INFO Register rules [squid/java]...2012.10.25 14:39:15 ERROR o.s.s.p.Platform The following rule (repository: squid) must have a description: Rule[id=<null>,name=<null>,key=ParsingError,configKey=ParsingError,plugin=squid,enabled=true,severity=MAJOR,cardinality=SINGLE]org.sonar.api.utils.SonarException: The following rule (repository: squid) must have a description: Rule[id=<null>,name=<null>,key=ParsingError,configKey=ParsingError,plugin=squid,enabled=true,severity=MAJOR,cardinality=SINGLE]at org.sonar.server.startup.RegisterRules.validateRule(RegisterRules.java:131) ~[classes/:na]at org.sonar.server.startup.RegisterRules.registerRepository(RegisterRules.java:103) ~[classes/:na]at...

(可参考http://jira.codehaus.org/browse/SONAR-3910)

解决方法：将 extensions\\plugins\\ 目录下的jar包全部删除，重新加入本地语言包后，重新打包部署即可。

3、安装、配置Sonar

Sonar的运行需要 JDK 1.5+ , 从 http://www.sonarqube.org/downloads/ 下载sonar zip文件，本文以3.6版本为例。

创建运行sonar的CentOS账户sonar，并设置账户密码：

# useradd sonar
# passwd sonar

使用sonar账户登录CentOS。

Sonar默认集成了jetty容器，可以直接启动提供服务，也可以通过脚本构建为war包，部署在tomcat容器中。

1）直接启动

编辑.bash_profile，添加环境变量SONAR_HOME

$ vi $HOME/.bash_profile

修改成如下内容：

PATH=$PATH:$HOME/bin
SONAR_HOME=$HOME/sonar

export PATH SONAR_HOME

使环境变量生效

Source $HOME/.bash_profile

运行如下命令启动sonar，其它操作系统sonar均提供了启动脚本

$ ${SONAR_HOME}/bin/linux-x86-64/sonar.sh start

在浏览器中访问: http://localhost:9000/ ，运行界面如下：

技术分享 

Sonar默认的端口是”9000”、默认的上下文路径是”/”、默认的网络接口是”0.0.0.0”，默认的管理员帐号和密码为:admin/admin，这些参数都可以在配置文件中修改：

$ vi ${SONAR_HOME}/conf/sonar.properties

技术分享

2）作为Web项目,部署到Tomcat等应用服务器中

a. 确保conf/sonar.properties、conf/wrapper.conf未被修改使用过

b. 执行如下命令生成war包，将生成的sonar.war部署到应用服务器中

$ ${SONAR_HOME}/war/build-war.sh

c. 启动Tomcat, 通过 http://localhost:8080/sonar 访问.

Tomcat安装配置参见：CenOS系统中安装Tomcat7并设置为自启动服务 

4、配置为自启动服务

使用root账户或者开启sudo权限操作。

创建自启动脚本文件/etc/init.d/sonar

# vi /etc/init.d/sonar

添加如下内容

技术分享
技术分享
#!/bin/sh
#
# rc file for SonarQube
#
# chkconfig: 345 96 10
# description: SonarQube system (www.sonarsource.org)
#
### BEGIN INIT INFO
# Provides: sonar
# Required-Start: $network
# Required-Stop: $network
# Default-Start: 3 4 5
# Default-Stop: 0 1 2 6
# Short-Description: SonarQube system (www.sonarsource.org)
# Description: SonarQube system (www.sonarsource.org)
### END INIT INFO

/usr/bin/sonar $*
技术分享
技术分享

添加启动服务

# ln -s $SONAR_HOME/bin/linux-x86-64/sonar.sh /usr/bin/sonar
# chmod 755 /etc/init.d/sonar
# chkconfig --add sonar

5、配置插件

a）插件介绍

Sonar支持多种插件，插件的下载地址为：http://docs.codehaus.org/display/SONAR/Plugin+Library

将下载后的插件上传到${SONAR_HOME}extensions\\plugins目录下，重新启动sonar。

sonar默认集成了Java Ecosystem插件，该插件是一组插件的合集

  • Java [sonar-java-plugin]：java源代码解析，计算指标等
  • Squid [sonar-squid-java-plugin]：检查违反Sonar定义规则的代码
  • Checkstyle [sonar-checkstyle-plugin]：使用CheckStyle检查违反统一代码编写风格的代码
  • FindBugs [sonar-findbugs-plugin]：使用FindBugs检查违反规则的缺陷代码
  • PMD [sonar-pmd-plugin]：使用pmd检查违反规则的代码
  • Surefire [sonar-surefire-plugin]：使用Surefire执行单元测试
  • Cobertura [sonar-cobertura-plugin]：使用Cobertura获取代码覆盖率
  • JaCoCo [sonar-jacoco-plugin]：使用JaCOCO获取代码覆盖率

下面列出了一些常用的插件：

b）插件配置示例（本段内容来自http://www.ibm.com/developerworks/cn/java/j-lo-sonar/）

Sonar 的主要特色是对不同工具产生的检查结果进行再加工处理，Sonar 还向用户提供了对数据进行个性化处理的方法。

本节以 Technical Debt 插件为例说明如何通过设置参数影响最后的报告结果。首先了解一下这个插件中的“技术债务”的概念，这个概念最早是在 1992 年由 Ward Cunningham 在他的论文“The WyCash Portfolio Management System”中提出的，之后被软件工程界接受并推广，《重构》的作者 Martin Fowler 也在其 网站上对技术债务有所介绍。其实原理可以理解为“出来混早晚要还的”，当前不规范的代码，会对以后产品修改的成本造成影响。

Soanr 的 Technical Debt 插件提供了默认的计算公式，通过对其中的权重参数进行配置，可以适应不同公司和项目对技术债务的计算。

技术分享 

以上的各项数据指标，可以根据自己公司和项目的不同情况进行设置，如图所示：

技术分享

例如默认参数下同一个项目的技术债务指标如下：

技术分享

修改了参数后的结果为：

技术分享

可见将 Average time to cover complexity of one (in hours) 从 0.2 修改为 0.01 后，Coverage 的权重变小了，从而达到忽略单元测试覆盖率的作用。不同的公司和项目可以根据需要调整各自的参数，参数的调优和策略不在本文的讨论范围之内。

通过以上的示例可以看出，Sonar 使用不同类型的图表显示给用户代码质量的结果，并且这些图表不是简单地对单元测试覆盖率或者静态检测工具的结果进行显示，而是根据软件工程理论进行了二次加工后的结果，更加科学和直观。

c）更新中心

以管理员用户登录Sonar，进入配置->系统，选择更新中心，如图：

技术分享

其中Available Plugins选项卡提供了可以选择安装的插件，System Updates可以在线更新Sonar。

下载插件需要注意其中有些插件是需要购买才能使用的，其License类型为Commercial。

 

二、与jenkins集成

1、通过Maven进行集成

修改maven的主配置文件（${MAVEN_HOME}/conf/settings.xml文件或者 ~/.m2/settings.xml文件），在其中增加访问Sonar数据库及Sonar服务地址，添加如下配置：

技术分享
技术分享
<profile>

<id>sonar</id>

<properties>

    <sonar.jdbc.url>jdbc:mysql://localhost:3306/sonar</sonar.jdbc.url>

    <sonar.jdbc.driver>com.mysql.jdbc.Driver</sonar.jdbc.driver>

    <sonar.jdbc.username>sonar</sonar.jdbc.username>

    <sonar.jdbc.password>sonar</sonar.jdbc.password>

    <sonar.host.url>http://localhost:9000</sonar.host.url> <!-- Sonar服务器访问地址 -->

</properties>

</profile>

<activeProfiles>

  <activeProfile>sonar</activeProfile>

</activeProfiles>
技术分享
技术分享

此处注意sonar.host.url地址应根据sonar部署情况修改

同样，为了避免内存溢出，推荐增加内存堆栈的大小。设置MAVEN_OPTS环境变量：

set MAVEN_OPTS=”-Xmx512m -XX:MaxPermSize=256m”  

使用Sonar

a. 运行Sonar服务器;

b. 通过 mvn sonar:sonar 将代码注入到Sonar中进行分析处理,并将处理结果以XML的形式保存在数据库中;

c. 通过浏览器访问,显示分析结果;

d. 持续运行Maven构建,会迭代显示分析结果;

e. 可以显式指定sonar插件的版本,如下:

技术分享
技术分享
        <project>
            <build>
                <plugins>
                    <plugin>
                        <groupId>org.codehaus.sonar</groupId>
                        <artifactId>sonar-maven-plugin</artifactId>
                        <version>3.5.1</version>
                    </plugin>
                </plugins>
            </build>
        </project> 
技术分享
技术分享

f. 可以显式的将sonar绑定到Maven生命周期中,如下: 

技术分享
技术分享
        <plugin>  
            <groupId>org.codehaus.sonar</groupId>
            <artifactId>sonar-maven-plugin</artifactId>
            <version>3.5.1</version>
            <executions>
                <execution>
                    <id>sonar</id>
                    <phase>site</phase>
                    <goals>
                    <goal>sonar</goal>
                    </goals>
                </execution>
            </executions>
    　　</plugin>
技术分享
技术分享

此时,指定Maven的site声明周期时,则会自动调用sonar.sonar 命令.

2、直接与Jenkins集成

在jenkins的插件管理中选择安装sonar jenkins plugin，该插件可以使项目每次构建都调用sonar进行代码度量。

进入配置页面对sonar插件进行配置，如下图：

技术分享

配置构建项目，增加Post Build Action：

技术分享

 

技术分享

应用程序构建时就会自动触发Sonar对代码的检查

技术分享

以上是关于案例 | 如何以Sonar为例创建一个适用与所有企业的测试步骤的主要内容，如果未能解决你的问题，请参考以下文章

Sonar安装配置

linux sonar 怎么启动

配置sonar和jenkins进行代码审查

配置sonarjenkins进行持续审查

ArcGIS风暴ArcGIS创建栅格数据集色彩映射表案例--以GlobeLand30土地覆盖数据为例

ArcGIS风暴ArcGIS创建栅格数据集色彩映射表案例--以GlobeLand30土地覆盖数据为例