我们平时镜像都是习惯于放在公共仓库的,比如Dockerhub, Daocloud。但在企业里,我们经常会需要搭建公司自己的镜像仓库。
这篇文章讲解如何用docker提供的registry镜像来搭建自己的镜像仓库。
不添加ssl认证的仓库
下面用registry:2.6.2镜像创建docker仓库。
将宿主机的5000端口映射到容器的5000端口。
将宿主机/mnt/registry挂在到容器的/var/lib/registry目录,容器里的这个目录就是存放镜像的地方。这样可以将数据持久化,当容器挂掉时镜像不会丢失。
mkdir /mnt/registry
docker run -d \
-p 5000:5000 \
--restart=always \
--name registry \
-v /mnt/registry:/var/lib/registry \
registry:2.6.2
docker仓库是需要ssl认证的,由于现在没有添加ssl认证,需要在docker客户端添加参数:
vim /etc/sysconfig/docker
# 在OPTIONS下添加--insecure-registry=<host-ip>:5000
OPTIONS='--selinux-enabled --log-driver=json-file --signature-verification=false --insecure-registry=10.34.31.13:5000'
# 重启docker
systemctl restart docker
我们可以测试一下新建的仓库是否可用。
docker push 10.34.31.13:5000/hello-world:v1
但这样形式的仓库可用性不高,比如我们有多个镜像仓库要使用,我们需要经常去修改–insecure-registry参数。
下面会讲解如何创建一个https协议的高可用仓库。
创建一个带ssl认证的高可用仓库
安装openssl
yum install -y openssl
修改openssl.cnf文件
vim /etc/pki/tls/openssl.cnf # 找到v3_ca,在下面添加宿主机的IP地址 [ v3_ca ] subjectAltName = IP:10.34.31.13
如果没有修改这个文件,最后生成的ssl证书使用时会报错如下:
x509: cannot validate certificate 10.34.31.13 because it doesn't contain any IP SANs
生成ssl证书
mkdir /certs openssl req -newkey rsa:4096 -nodes -sha256 \ -keyout /certs/domain.key -x509 -days 1000 \ -out /certs/domain.cert # 生成证书的过程中需要填写以下参数,在Conmmon那一栏填写你为dokcer仓库准备的域名 Country Name (2 letter code) [AU]:CN State or Province Name (full name) [Some-State]: Locality Name (eg, city) []: Organization Name (eg, company) [Internet Widgits Pty Ltd]: Organizational Unit Name (eg, section) []: Common Name (e.g. server FQDN or YOUR name) []:10.34.31.13:5000 Email Address []:
创建docker仓库
# 这里启动方式跟上面差别不大,多了挂载/certs文件夹和添加了两个certificate参数 docker run -d \ --restart=always \ --name registry \ -v /certs:/certs \ -v /var/lib/registry:/var/lib/registry \ -e REGISTRY_HTTP_ADDR=0.0.0.0:5000 \ -e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.cert \ -e REGISTRY_HTTP_TLS_KEY=/certs/domain.key \ -p 5000:5000 \ registry:2.6.2
配置docker客户端
# 以后需要使用这个仓库的机器,在客户端像这样配置一下就可以了 mkdir /etc/docker/certs.d/10.34.31.13:5000 cp /certs/domain.cert /etc/docker/certs.d/10.34.31.13:5000/ca.crt # 现在就可以测试一下了 docker push 10.34.31.13:5000/hello-world:v1
使用kubernetes部署docker仓库
上面的容器是由doker直接启动的,由于我使用的是kubernetes集群,所以我希望一切容器都能由kubernetes来管理。
于是我为kubernetes集群添加了一个node节点,来做k8s集群的镜像仓库。
- 生成ssl证书
参考上面,在准备的node节点上生成ssl证书。 给node添加标签
因为我只想在这台节点上运行registry容器,所以需要给这台节点添加标签,便于k8s部署能只选到这台节点。# n3是这个节点的hostname.如果没有添加k8s客户端权限,可以在master节点上执行。 kubectl label node n3 bind-registry=ture
创建registry目录,用于持久化images数据
mkdir /var/lib/registry
部署registry。dockerhub-dp.yaml我会在最后面贴出来。
kubectl create -f dockerhub-dp.yaml
配置docker客户端
这个跟上面一个思路,端口稍有不同。# 以后需要使用这个仓库的机器,在客户端像这样配置一下就可以了 mkdir /etc/docker/certs.d/10.34.31.13:30003 cp /certs/domain.cert /etc/docker/certs.d/10.34.31.13:5000/ca.crt
为了访问方便,我将registry service的端口设置为了NodePort,但k8s限制这个端口只能设置为30000以上,所有我这里设置为了30003。
dockerhub-dp.yaml
apiVersion: apps/v1beta2
kind: Deployment
metadata:
name: docker-local-hub
namespace: kube-system
labels:
app: registry
spec:
replicas: 1
selector:
matchLabels:
app: registry
template:
metadata:
labels:
app: registry
spec:
containers:
- name: registry
image: registry:2.6.2
ports:
- containerPort: 5000
env:
- name: REGISTRY_HTTP_TLS_CERTIFICATE
value: "/certs/domain.cert"
- name: REGISTRY_HTTP_TLS_KEY
value: "/certs/domain.key"
volumeMounts:
- mountPath: /var/lib/registry
name: docker-hub
- mountPath: /certs
name: certs
nodeSelector:
bind-registry: "ture"
volumes:
- name: docker-hub
hostPath:
path: /var/lib/registry
type: Directory
- name: certs
hostPath:
path: /certs
type: Directory
---
apiVersion: v1
kind: Service
metadata:
name: docker-local-hub
namespace: kube-system
labels:
app: registry
spec:
selector:
app: registry
ports:
- port: 5000
targetPort: 5000
nodePort: 30003
type: NodePort