一个网站的微服务架构实战(2)k8s迁移

前言

我们一起回顾上一篇文章《Bees平台的微服务架构(1)docker和docker-compose》,一共通过Dockerfile构建了三个docker镜像:mysql数据库,部署angular前端页面的nginx,和springboot接口。然后使用docker-compose来做容器服务的编排,以保障不同容器之间可以互访。为了提高开发的效率,我们还写了一个自动部署的脚本,实际是只是通过docker-compose.yml启动和关闭容器,在本地镜像库中生成或删除镜像。

不可否认,docker-compose服务编排的小巧灵活性让人爱不释手,那我们今天为什么要迁移到k8s(kubernetes)上呢?因为k8s的编排能力更强,因为k8s可以做跨主机的分布式集群,因为k8s搭载rancher将更有利于微服务架构的统一管理,等等。

k8s准备

本文将不讲解k8s和rancher的安装和配置,相关的安装文档和配置文档网上有很多。最近阿里云产品春节大促销,我一时没忍住又买了一台服务器,打完折扣还是很贵。心疼归心疼,不过这样我就有两台服务器了,就顺便搭建了k8s的集群环境。

镜像仓库

分布式集群带来的复杂度就增加了。你没办法直接使用本地的镜像库地址了,我不想搭建镜像仓库,好在阿里的docker镜像仓库是免费的,就将最终版的docker镜像推送到阿里的容器仓库里面。当需要启动容器时,容器的地址就写阿里容器仓库里的地址,后文中会出现。

宿主机挂载卷

分布式的另一个问题就是宿主机的挂载卷,如果对上一篇文章印象深刻的话,应该记得mysql数据库的数据文件和nginx代理的图片文件等,都是挂载在宿主机上的。因为docker容器的特性,如果不使用挂载卷,在重启容器之后容器内的数据都会丢失。分布式环境中,不同主机之间是没办法互访目录的。我是通过在一台机器上搭建了nfs服务器,将单台机器上的目录开放为共享目录,具体内容下文有介绍。

服务互访

不同服务之间免不了要相互访问,例如:springboot要访问数据库和redis,angualr要调用springboot接口。而且考虑到k8s上经常要对某个服务做多节点的集群,所以要在注册中心开放给外界访问的地址应该是集群的地址。

我们在docker-compose上是怎么做的呢?在docker-compose.yml 上定义多个服务service,每个service对应于一个镜像。容器启动后,对应容器的服务名称即可以作为 hostname来使用。

k8s上也有类似的用法,它使用yaml文件,kind类型有很多,例如:Pod表示启动的服务是一个pod;ReplicationController则会根据Pod模板生成一批pod作为集群;Service则相当于服务的注册,可给与之对应的pod副本集群提供访问地址,等等还有很多。那这个问题Service就能解决,我们给不同的服务都创建一个Service,这样就也能同docker-compose一样通过服务的名称就能访问与之对应服务的pod副本集群。

其他

因为业务需要,在之前的三个镜像的基础上又加了一个redis镜像。那么分布式redis、分布式mysql环境搭建就太麻烦了,如果以后有机会再单独写文章来介绍,这次我干脆就只启动单节点的mysql和redis。

nfs共享目录

NFS是Network File System的简写,即网络文件系统,NFS是FreeBSD支持的文件系统中的一种。NFS基于RPC(Remote Procedure Call)远程过程调用实现,其允许一个系统在网络上与它人共享目录和文件。通过使用NFS,用户和程序就可以像访问本地文件一样访问远端系统上的文件。NFS是一个非常稳定的,可移植的网络文件系统。

选用nfs的另一个原因是,nfs服务在k8s上可以直接作为存储卷使用,十分方便。

安装

nfs是基于rpc的,安装nfs就需要确保已安装rpcbind,不过一般CentOS都默认已安装了rpcbind

##查找是否已安装nfs 和 rpcbind
[mpaas@kerry1 k8s]$ rpm -qa | grep nfs
[mpaas@kerry1 k8s]$ rpm -qa | grep rpcbind
##如果没安装,则通过有yum安装
[mpaas@kerry1 k8s]$ yum -y install nfs-utils
[mpaas@kerry1 k8s]$ yum -y install rpcbind

安装完成后,必须要先启动rpcbind服务,再启动nfs服务

[mpaas@kerry1 k8s]$ systemctl start rpcbind
[mpaas@kerry1 k8s]$ systemctl start nfs-server

设置开机启动

[mpaas@kerry1 k8s]$ systemctl enable rpcbind
[mpaas@kerry1 k8s]$ systemctl enable nfs-server

配置

通过修改 /etc/exports 文件,设置nfs的共享目录

/home/nfs/bees/mysql/data *(rw,no_root_squash,no_all_squash,sync)

如上,将 /home/nfs/bees/mysql/data作为共享目录

星号* 代表可在任意服务器上访问该共享目录,也可以指定特点的ip和端口访问

括号内是参数设置,常见的参数则有:

rw  ro    该目录分享的权限是可擦写 (read-write) 或只读 (read-only),但最终能不能读写,还是与文件系统的 rwx 及身份有关。

sync  async    sync 代表数据会同步写入到内存与硬盘中,async 则代表数据会先暂存于内存当中,而非直接写入硬盘!

no_root_squash  root_squash    客户端使用 NFS 文件系统的账号若为 root 时,系统该如何判断这个账号的身份?预设的情况下,客户端 root 的身份会由 root_squash 的设定压缩成 nfsnobody, 如此对服务器的系统会较有保障。但如果你想要开放客户端使用 root 身份来操作服务器的文件系统,那么这里就得要开 no_root_squash 才行!

all_squash    不论登入 NFS 的使用者身份为何, 他的身份都会被压缩成为匿名用户,通常也就是 nobody(nfsnobody) 啦!

anonuid  anongid    anon 意指 anonymous (匿名者) 前面关于 *_squash 提到的匿名用户的 UID 设定值,通常为 nobody(nfsnobody),但是你可以自行设定这个 UID 的值!当然,这个 UID 必需要存在于你的 /etc/passwd 当中! anonuid 指的是 UID 而 anongid 则是群组的 GID 啰。

编辑完 /etc/exports 文件后,执行下列命令生效

[mpaas@kerry1 k8s]$  exportfs -r

在服务器端,可执行下列命令查看目录是否共享成功

[mpaas@kerry1 k8s]$ showmount -e localhost
Export list for localhost:
/home/nfs/bees/mysql/data *

也可以在另外一台机器上安装nfs后执行上述命令,只需要将localhost换成目标服务器的ip地址即可。

nginx服务

先启动nginx来部署angualr,我们需要创建一个RC,根据模板创建pods,暂时只创建一个pod,后续如果需要扩展再在rancher上管理。

创建bees_angular_rc.yaml,开放pod的80端口

apiVersion: v1
kind: ReplicationController
metadata:
 name: bees-angular
spec:
 replicas: 1
 selector:
  app: bees-angular
 template:
  metadata:
   labels:
    app: bees-angular
  spec:
   containers:
   - name: bees-angular
     image: registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-nginx:v1.0
     ports:
     - containerPort: 80

创建bees_angualr_svc.yaml,设置nodePort,将pod的80端口映射给宿主机的30000端口

apiVersion: v1
kind: Service
metadata:
 name: bees-angular
spec:
 type: NodePort
 ports: 
  - port: 80
    nodePort: 30000
 selector:
  app: bees-angular

那么执行下列命令即可创建rc和service,与之对应的pod也会运行起来

##启动rc
[mpaas@kerry1 k8s]$ kubectl create -f bees-angular-rc.yaml 
##启动service
[mpaas@kerry1 k8s]$ kubectl create -f bees-angular-svc.yaml 
##查看pod是否启动成功
[mpaas@kerry1 k8s]$ kubectl get pods

mysql服务

创建bees_mysql_rc.yaml,开放pod的3306端口,并将nfs服务器上的共享目录 /home/nfs/bees/mysql/data 挂载到容器中

apiVersion: v1
kind: ReplicationController
metadata:
 name: bees-mysql
spec:
 replicas: 1
 selector:
  app: bees-mysql
 template:
  metadata:
   labels:
    app: bees-mysql
  spec:
   containers:
   - name: bees-mysql
     image: registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-mysql:v1.0
     ports:
     - containerPort: 3306
     env:
     - name: MYSQL_ROOT_PASSWORD
       value: 数据库密码
     volumeMounts:
     - name: mysql-data-persistent-storage
       mountPath: /var/lib/mysql
   volumes:
   - name: mysql-data-persistent-storage
     nfs:
      path: /home/nfs/bees/mysql/data
      server: nfs服务器的ip

创建bees_mysql_svc.yaml

apiVersion: v1
kind: Service
metadata:
 name: bees-mysql
spec:
 type: NodePort
 ports: 
  - port: 3306
    nodePort: 30003
 selector:
  app: bees-mysql

springboot服务

bees_springboot_rc.yaml

kind: ReplicationController
metadata:
 name: bees-springboot
spec:
 replicas: 1
 selector:
  app: bees-springboot
 template:
  metadata:
   labels:
    app: bees-springboot
  spec:
   containers:
   - name: bees-springboot
     image: registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-springboot:v1.0
     ports:
     - containerPort: 8010

bees_springboot_svc.yaml

apiVersion: v1
kind: Service
metadata:
 name: bees-springboot
spec:
 type: NodePort
 ports: 
  - port: 8010
    nodePort: 30004
 selector:
  app: bees-springboot

都是一些基础的代码使用,这里就不过多写了。

自动打包镜像推送仓库的脚本

#!/bin/bash

echo "nginx版本:"$1
echo "springboot版本:"$2

v_springboot_jar=`find /bees/devops/upload/ -name "*.jar"`
echo "找到jar:"$v_springboot_jar
v_angular_zip=`find /bees/devops/upload/ -name "dist.zip"`
echo "找到dist:"$v_angular_zip

docker rmi -f $(docker images|grep "paperbee-nginx" | awk '{print $3}')
docker rmi -f $(docker images|grep "paperbee-springboot" | awk '{print $3}')
echo "删除原镜像"

cd /bees/devops/dockerfiles/springboot-k8s/
rm -f *.jar
cp $v_springboot_jar ./bees-0.0.1-SNAPSHOT.jar
docker build -t paperbee-springboot .
echo "生成springboot镜像"

cd /bees/devops/dockerfiles/angular-k8s/
rm -rf dist/
cp $v_angular_zip ./dist.zip
unzip dist.zip
rm -f dist.zip
docker build -t paperbee-nginx .
echo "生成angular镜像"

docker login --username=账号 --password=密码 registry.cn-hangzhou.aliyuncs.com
echo "登录docker容器仓库"

v_nginx_image=$(docker images|grep "paperbee-nginx" | awk '{print $3}')
v_springboot_image=$(docker images|grep "paperbee-springboot" | awk '{print $3}')


docker tag $v_nginx_image registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-nginx:$1
docker push registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-nginx:$1
echo "推送 bees-nginx:"$1


docker tag $v_springboot_image registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-springboot:$2
docker push registry.cn-hangzhou.aliyuncs.com/kerry2019/bees-springboot:$2
echo "推送 bees-springboot:"$2

备注

1、线上网站地址:纸蜂平台
2、 github地址,欢迎star

    原文作者:KerryWu
    原文地址: https://segmentfault.com/a/1190000018567482
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞