Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境

2019年6月10日 243次阅读 来源: show1987

本篇内容

  • Spring Cloud 项目结构概览
  • Dockerfile文件准备
  • Jenkins参数设置
  • Jenkins中创建流水线脚本
  • 详细Groovy Pipeline脚本
  • Docker Compose安装
  • WebHook触发构建
  • Git多分支环境下构建
  • Spring Cloud 项目部署Docker中的坑

Spring Cloud 项目结构概览

我以目前我们公司项目为例，我将Spring Cloud项目分成了如下几块

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

  1. eureka：服务发现，端口8761
  2. config：配置中心，端口9118
  3. basic：基础服务，提供与业务没有关系的通用service，端口9102
  4. pms：酒店PMS数据回调service，端口9103
  5. host：后台基础信息service，端口9100
  6. business：业务系统service，端口9101
  7. gateway：网关，对外暴露端口为443和8088

maven项目模块化
考虑到项目中的DTO、VO、通用类等在多个service中会使用到，且serivce之间互相调用使用了Fegin,所以，service中项目结构会是这样，以host-service为例：

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

host中pom.xml分了3个模块

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

模块之间互相引用需要如下几步

  1. mvn -Dmaven.test.skip=true -U clean install 构建jar包并安装到本地
  2. mvn install:install-file 使用install-file命令将jar包上传到本地仓库

  3. 在pom中添加依赖包，会从本地仓库获取指定的包

    《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

关于详细的模块化步骤，请看此文使用Maven构建多模块项目

Dockerfile文件准备

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

创建两个文件夹，docker-test，docker-prod
docker-test为测试环境
docker-prod为正式环境

以测试环境为例，在docker-test中创建Dockerfile

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER show

ADD /target/futurekey-host.jar app.jar

ENTRYPOINT ["java","-jar","/app.jar"]

target下存放的是编译后的项目jar包

Jenkins参数设置

为了WebHook能够将请求push到Jenkins,需要如下设置

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

取消防跨站点请求伪造和允许匿名访问读取

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png
《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

Jenkins中创建流水线脚本

创建流水线脚本

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

勾选触发远程构建，身份令牌随便填，触发的url为JENKINS_URL/job/eureka/build?token=TOKEN

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

  • JENKINS_URL：jenkins的访问地址
  • eureka：此处为脚本的名称
  • TOKEN：输入身份验证令牌

Gitlab项目的Webhook输入jenkins的地址，点击Add webhook

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

测试推送

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

显示201则为成功

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

Groovy流水线脚本格式

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

基本格式为

#!groovy
pipeline {
    agent any
    environment {
        ENV="test"
    }

    stages {
        stage('test') {
            steps {
                echo "${ENV}"
            }
        }
    }
}
  • environment: 环境变量，使用时为${xx}格式，xx为变量名
  • stages: 所有流水线的阶段，stages中包含多个stage
  • steps: 脚本执行步骤

流水线语法

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

提供了多个步骤的选择

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

我现在需要生成获取git clone的脚本

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png
《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

点击生成

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

生成的脚本复制到文本，后面会使用到。

大致的脚本执行步骤

我的项目前端网页框架用的是VUE Element UI,所以分了两个git项目，每次发布时，只需要将vue编译后的文件夹copy到网关的static文件夹下，然后重写static/index.html为首页即可。

@Configuration
public class DefaultViewConfig implements WebMvcConfigurer {

    @Override
    public void addViewControllers(ViewControllerRegistry registry) {
        registry.addViewController("/").setViewName("forward:/index.html");
        registry.setOrder(Ordered.HIGHEST_PRECEDENCE);
    }
}

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

脚本步骤如下

#!groovy
pipeline {
    agent any
    
    environment {
        REPOSITORY="https://gitee.com/lanzhima-show/project.git"
        WEB_REPOSITORY="https://gitee.com/lanzhima-show/web.git"
        JENKINSDIR="/var/lib/jenkins/workspace/"
        PORJECTDIR="eureka/"
        ENV="test"
        FILEDIR="shell/"
    }

    stages {
        stage('获取网页代码') {
            steps {

            }
        }

        stage('获取代码') {
            steps {

            }
        }

        stage('提升shell文件执行权限') {
            steps {

            }
        }

        stage('生成maven jar包') {
            steps {

            }
        }

        stage('编译项目') {
            steps {

            }
        }

        stage('构建docker镜像') {
            steps {

            }
        }

        stage('docker发布') {
            steps {

            }
        }
    }
}

详细Groovy Pipeline脚本

获取网页代码

stage('获取网页代码') {
  echo "start fech code form git:${WEB_REPOSITORY}"
                deleteDir()
                git branch: 'develop', credentialsId: 'd964d8c1-366a-42d4-aff7-b429d43952ec', url: "${WEB_REPOSITORY}"
                sh '''
                    cd ${JENKINSDIR}
                    rm -rf pages
                    mkdir pages
                    cp -rf ${JENKINSDIR}${PORJECTDIR}dist/. ${JENKINSDIR}pages
                '''
}
  1. 删除原来的文件夹
  2. 从Git克隆代码
  3. 创建一个pages的文件夹
  4. 将VUE编译好的dist文件夹下的所有内容，复制到pages文件夹中

获取代码

stage('获取代码') {
          steps {
                echo "start fech code form git:${REPOSITORY}"
                deleteDir()
                git branch: 'develop', credentialsId: 'd964d8c1-366a-42d4-aff7-b429d43952ec', url: "${REPOSITORY}"
                sh '''
                    mv -f ${JENKINSDIR}pages/* ${JENKINSDIR}${PORJECTDIR}project-gateway/src/main/resources/static/
                '''
            }
        }
  1. 删除原来的文件夹
  2. 从Git克隆代码
  3. 将pages文件夹下内容移动到gateway的static下

提升shell文件执行权限

stage('提升shell文件执行权限') {
            steps {
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}${FILEDIR}
                    chmod 755 mvn-build.sh
                    chmod 755 packages-build.sh
                    cd ${JENKINSDIR}${PORJECTDIR}
                    chmod +x docker-compose.yml
                '''
            }
        }

为了能够执行shell脚本，需要赋予权限

maven编译的shell脚本,主要作用是编译可执行jar包，将jar包复制到Dockerfile文件夹中，便于后续docker生成镜像
mvn-build.sh

#!/bin/bash -ilex

PROJECTDIR=$1
MODULEDIR=$2
ENV=$3
JARNAME=$4
cd ${PROJECTDIR}${MODULEDIR}
mvn -Dmaven.test.skip=true -U clean install
mkdir ${PROJECTDIR}${MODULEDIR}docker-${ENV}/target 
cp -f ${PROJECTDIR}${MODULEDIR}target/${JARNAME} ${PROJECTDIR}${MODULEDIR}docker-${ENV}/target/${JARNAME}
  1. 生成jar包
  2. 创建target文件夹
  3. 复制jar包到target文件夹下

打包jar包前，需要对各项目中的模块先进行maven打包,可根据自己的项目进行实际修改
package-build.sh

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

Docker Compose编排脚本
经过我测试，如果将所有的容器服务全部放入一个docker-compose.yml中后，由于无法指定启动的先后顺序，并且几个service必须依赖于eureka和config后才能启动，会导致service找不到eureka和config。
所以，我的做法是将整个spring cloud的服务编排做成两个编排脚本

第一个docker-compose.yml负责启动eureka和config
docker-compose.yml

version: "3"
services:
  eureka:
    container_name: eureka
    image: demo/eureka:latest
    ports:
      - "8761:8761"
  
  config:
    image: demo/config:latest
    ports:
      - "9118:9118"
    links:
      - "eureka"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.profiles.active=test

指定eureka的container_name为eureka后，就可以通过容器名称找到eureka服务，所以需要修改环境变量eureka.client.service-url.defaultZone=http://eureka:8761/eureka/

第二个docker-compose.yml负责把service和gateway拉起
docker-compose-service-test.yml

version: "3"
services:
  basic:
    image: demo/basic:latest
    ports:
      - "9102:9102"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test
  
  pms:
    image: demo/pms:latest
    ports:
      - "9103:9103"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  host:
    image: demo/host:latest
    ports:
      - "9100:9100"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  business:
    image: demo/business:latest
    ports:
      - "9101:9101"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  gateway:
    image: demo/gateway:latest
    ports:
      - "443:443"
      - "8088:8088"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

生成maven jar包

stage('生成maven jar包') {
            steps {
                echo "start build maven package"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}packages-build.sh ${JENKINSDIR}${PORJECTDIR}"
            }
        }

编译项目

steps {
                echo "start compile eureka"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-eureka/ ${ENV} demo-eureka.jar"
                echo "start compile config"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-config/ ${ENV} demo-config.jar"
                echo "start compile basic"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-basic/web/ ${ENV} demo-basic.jar"
                echo "start compile pms"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-pms/web/ ${ENV} demo-pms.jar"
                echo "start compile host"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-host/web/ ${ENV} demo-host.jar"
                echo "start compile business"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-business/web/ ${ENV} demo-business.jar"
                echo "start compile gateway"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-gateway/ ${ENV} demo-gateway.jar"
            }

构建docker镜像

steps {
                echo "start build docker images"
                echo "start build eureka image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-eureka/docker-${ENV}
                    docker build -t demo/eureka --rm .
                '''
                echo "start build config image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-config/docker-${ENV}
                    docker build -t demo/config --rm .
                '''
                echo "start build basic image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-basic/web/docker-${ENV}
                    docker build -t demo/basic --rm .
                '''
                echo "start build pms image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-pms/web/docker-${ENV}
                    docker build -t demo/pms --rm .
                '''
                echo "start build host image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-host/web/docker-${ENV}
                    docker build -t demo/host --rm .
                '''
                echo "start build business image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-business/web/docker-${ENV}
                    docker build -t demo/business --rm .
                '''
                echo "start build gateway image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-gateway/docker-${ENV}
                    docker build -t demo/gateway --rm .
                '''
            }

docker发布

steps {
                echo "start deploy"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}
                    docker-compose down --remove-orphans
                    docker-compose -f docker-compose-service-test.yml down
                    docker-compose up -d
                    sleep 45s
                    docker-compose -f docker-compose-service-test.yml up -d
                    docker images|grep none|awk '{print $3}'|xargs docker rmi
                '''
            }

坑1：目前我没有找到让多个docker-compose.yml顺序执行的方法，所以我设置了sleep时间等待，45秒足够让eureka和config启动了。

坑2：在docker-compose down --remove-orphans中，如果不加--remove-orphans,则无法删除依赖的网络，导致后续命令执行时报错，从而发布会中断。

坑3：我使用docker-compose down后，会产品none的镜像，所以我最后会删除none镜像,docker images|grep none|awk '{print $3}'|xargs docker rmi,不知道有没有大佬能够指出我的问题。

Docker Compose安装

安装命令

pip install docker-compose

查看版本

docker-compose -version

重启jenkins

systemctl restart jenkins

WebHook触发构建

我使用的是免费版的gitee，gitee也支持webhook，在gitee中设置

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

当每次提交之后，都会触发构建。

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

Git多分支环境下构建

现在我们每次push代码都会触发构建，但是一般我们会使用GitFlow管理各分支，这时，自动构建就需要区分是哪个分支的了，一般公司都会按照分支构建开发环境、测试环境、生成环境。
我们可以按照GitFlow工作流，将develop指定为测试环境，master指定为正式环境。

安装Generic Webhook Trigger插件

在Jenkins的插件中心搜索webhook，安装Generic Webhook Trigger插件

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

安装成功后，在编辑脚本中，可以看到新增的Generic Webhook Trigger

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

定义两个参数，ref为提交的分支名称，project.git_ssh_url为项目的ssh地址

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

添加验证表达式

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

webhook地址

webhook地址为http://JENKINS_URL/generic-webhook-trigger/invoke

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

添加token参数作为验证

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

设置新的webhook地址

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

构建成功后，能看到各步骤花费了多少时间

《Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境》 image.png

Spring Cloud 项目部署Docker中的坑

  1. 内存问题：centos中JVM默认给一个java进程分配的最大内存空间是在JAVA_OPTS中设置的，如果不手动调整，内存小一点的主机会马上内存吃紧。而spring cloud中明显有多个java项目要执行，所以必须手动调整。
    解决方法：在Dockerfile中添加-Xmx128m的参数，设置最大内存为128mb，你可以根据自己实际的配置进行调整。

2.时区问题：docker中的默认时区是GMT，与当前时间会相差8小时。
解决方法：在Dockerfile中添加-Duser.timezone=GMT+8

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER show 

ADD /target/host.jar app.jar

ENTRYPOINT ["java","-Xmx128m","-Duser.timezone=GMT+8","-jar","/app.jar"]
    原文作者：show1987
    原文地址: https://www.jianshu.com/p/fa85be6164e4
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞