运行Jenkins有多种方法，有linux/windows安装包，有war包自行发布到Servlet容器（例如Tomcat），最简单干净的就是在容器中运行，运行结束jenkins直接删除容器，不留垃圾。本文记录一次体验：通过容器运行Jenkins，并在其中启动容器节点完成构建步骤。其中一些踩坑经历，相信值得借鉴。本文实验基于Ubuntu 16.04 LTS ， Docker 17.06.0-ce，docker-compose 1.8

让容器运行起来

编写docker-compose.yml，内容如下

version: '2'
services:
 web:
  image: 'jenkins:alpine'
  restart: unless-stopped
  environment:
    TZ: 'Asia/Shanghai'
  ports:
    - '8080:8080'
    - '50000:50000'
  volumes:
    - './jks_home:/var/jenkins_home'

用sudo docker-compose up -d运行，结果如下

image.png

用
sudo docker-compose logs查看启动log，发现错误提示没有权限写，如下

image.png

原因是，在docker-compose.yml中，做了数据卷绑定
- './jks_home:/var/jenkins_home'，我们用sudo运行容器，运行时会自动创建jks_home，因为是sudo，所有者和组都是root,而jenkins容器内部运行用户是jenkins(uid:1000,gid:1000,参考
Jekins Alpine Dockfile定义)，因此当然没有权限往jks_home里写了。

赶紧的
sudo chown simon:simon jks_home/

image.png

继续观察log，终于看到

image.png

为什么把jks_home的所有者和组改成simon:simon就可以了呢？上面我们提到jenkins容器内的运行用户jenkins的uid和gid是1000，而simon的uid和gid也是1000，因此容器运行时，从主机看就是以simon在运行，容器不过就是主机的一个进程而已与其他在主机启动进程并无区别，只是为了实现隔离（名称和资源），运行了很多服务进程，对在Docker空间运行进程实施控制，不是很多介绍文章简单认为是轻量级虚拟机。
ps -aux | grep jenkins

image.png

浏览器打开http://192.168.1.101:8080/

image.png

按照画面提示找到密码,因为我们是容器运行，所以
sudo docker-compose exec web cat /var/jenkins_home/secrets/initialAdminPassword

image.png

copy密码，贴到浏览器里，继续，后续按照画面提示安装插件（笔者按照suggested的安装），创建用户等步骤，就不一一贴画面了。

最终，创建了一个名为pydocker的pipeline project，如下图

image.png

没有其他配置，只是添加了测试启动Docker Slave的pipeline script

pipeline{
    agent {
        docker {
            image 'ubuntu'
        }
    }
    
    stages {
        stage('Build') {
            steps {
                sh 'uname -a'
                echo 'Building..'
            }
        }
        stage('Test') {
            steps {
                echo 'Testing..'
            }
        }
        stage('Deploy') {
            steps {
                echo 'Deploying....'
            }
        }
    }
}

要运行Docker命令，还需要在jenkins所在容器安装docker客户端，否则构建会出现 docker: not found错误。另外docker客户端与服务器通讯支持2种协议，tcp和unix domain socket，后者只限于服务器在本地的情况，客户端和服务器通过共同访问一个本地socket文件来通讯，如docker用的socket文件默认位置就是/var/run/docker.sock。好了，接下来我们就利用docker的volume mount来直接利用主机上的docker客户端和sock文件，示意图如下

image.png

更新后的docker-compose.yml如下

version: '2'
services:
 web:
  image: 'jenkins:alpine'
  restart: unless-stopped
  environment:
    TZ: 'Asia/Shanghai'
  ports:
    - '8080:8080'
    - '50000:50000'
  volumes:
    - './jks_home:/var/jenkins_home'
    - '/var/run/docker.sock:/var/run/docker.sock'
    - '/usr/bin/docker:/usr/bin/docker'

这里又有一个坑，如果你是通过apt安装的docker的话，依然提示 docker: not found错误,原因是apt安装的docker采用的是动态链接编译的，还依赖其他的so文件，而你没有mount到容器，所以找不到相应文件，这里有讨论。解决办法是安装静态编译的docker。

好了，接着重启容器sudo docker-compose down && sudo docker-compose up -d，再次在jenkins画面点击立即构建，咦，还是出错

image.png

怎么回事呢，原来jenkins容器里的docker客户端通信要访问docker.sock文件却没有权限

image.png

当前用户是jenkins,不在ping组（gid：999）里，所有的坑都是因为jenkins容器的运行用户时jenkins（uid:1000）造成的，而其他容器化应用，基本都是以root运行的。

因为jenkins可以安装插件，猜测作者是担心插件不安全，所以用普通用户吧

这篇文章做法是新生成容器镜像，授予jenkins超级用户权限，不知道这同直接用root用户运行jenkins有何区别，反正都不安全，测试么，粗糙的编写下面的Dockerfile

FROM jenkins:alpine
USER root

生成镜像sudo docker build --rm -t jks .
改用jks镜像，docker-compose.yml如下

version: '2'
services:
 web:
  image: 'jks'
  restart: unless-stopped
  environment:
    TZ: 'Asia/Shanghai'
  ports:
    - '8080:8080'
    - '50000:50000'
  volumes:
    - './jks_home:/var/jenkins_home'
    - '/var/run/docker.sock:/var/run/docker.sock'
    - '/usr/bin/docker:/usr/bin/docker'

重启jenkins容器sudo docker-compose down && sudo docker-compose up -d,再次在jenkins画面点击立即构建，

image.png

image.png

Finished: SUCCESS，啊，终于跑起来了。

总结

用容器运行jenkins，方便快捷，但是因为镜像用户是jenkins，造成了很多不便，但是精细化控制和易用性总是需要平衡的，目前似乎还没有优雅方案在容器中运行容器。另外，在Docker Cloud服务越来越流行背景之下，jenkins调用容器命令，把镜像发布到docker cloud中运行，方便实现Continuous Delivery。

参考
Running Docker in Jenkins (in Docker)
uid=1000. gid=1000. why 1000?
Continuous Delivery with Docker on Mesos in less than a minute