MySQL数据库运维之读写分离03

2024年5月3日 163次阅读 来源: 夏日寒冰

上篇文章详细介绍了MySQL中间件MyCat的搭建及读写分离操作。在实际场景中，面对大容量的数据，在数据库层面中通常的解决方案有两种，第一种是读写分离，第二种就是数据库的分库和分表了，本篇文章将基于MyCat中间件，详细介绍一下通过MyCat综合实现分库、分表及读写分离操作！

一、基础回顾

上两篇文章中已经介绍了Mycat的基本使用，但MyCat的核心工作原理有必要此处再强调一下，利于理解后面其他内容，如下：

  1. 客户端连接MyCat代理，并发送MySQL的操作语句
  2. MyCat拦截用户发送的SQL语句
  3. 拦截到SQL语句之后，会通过内部的一系列解析器完成解析，并做一些特定的分析，比如：分片分析、路由分析、读写分离分析、缓存分析等
  4. 分析完成之后，根据分析出的结果，比如SQL操作需要路由到哪个数据库实例，哪个数据库，哪个表。然后将SQL语句发送到需要路由到的库或者表
  5. 数据库实例执行完SQL操作之后，将结果返回到MyCat代理，MyCat代理对结果做一些适当的处理，然后再将结果返回给发送SQL语句的客户端。至此，一次数据库操作完成！

二、环境准备

1、数据库软件

MySQL5.6.39

2、MyCat中间件

Mycat-server-1.6

3、服务器环境

CenterOS6.9虚拟机五台

4、服务器划分

  • 192.168.0.4（第一台主库mysql-server01）
  • 192.168.0.5（第一台从库mysql-server02）
  • 192.168.0.6（MyCat代理服务器mysql-proxy）
  • 192.168.0.7（第二台主库mysql-server03）
  • 192.168.0.8（第二台从库mysql-server04）

三、分库分表及读写分离配置

1、安装MySQL数据库，并配置主从复制，安装及配置主从同步请参考之前的文章，有详细讲解，此处不再赘述

  • mysql-server02同步mysql-server01
  • mysql-server04同步mysql-server03

2、配置mysql-proxy，进入到MyCat的安装目录，然后修改server.xml

#备份原文件
[root@mysql-proxy ~]# cd /usr/local/mycat/conf/
[root@mysql-proxy conf]# cp server.xml server.xml.bak

添加如下两个用户，一个为只读用户，一个为读写用户：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
        <user name="root">
                <property name="password">123456</property>
                <property name="schemas">test_db</property>
                <!--
                <privileges check="false">
                        <schema name="test_db" dml="0110">
                                <table name="student" dml="0000"></table>
                                <table name="t_user" dml="1111"></table>
                        </schema>
                </privileges>
                -->
        </user>
        <user name="user">
                <property name="password">user</property>
                <property name="schemas">test_db</property>
                <property name="readOnly">false</property>
        </user>
</mycat:server>

3、配置schema.xml配置文件

#备份原文件
[root@mysql-proxy conf]# cp schema.xml schema.xml.bak
[root@mysql-proxy conf]# vim schema.xml

写入如下内容：

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
        <schema name="test_db" checkSQLschema="false" sqlMaxLimit="100">
                <table name="t_user" primaryKey="id" dataNode="wb_node01,wb_node02" rule="sharding-by-mod" />
        </schema>
        <dataNode name="wb_node01" dataHost="wb_host01" database="test_db" />
        <dataNode name="wb_node02" dataHost="wb_host02" database="test_db" />
        <dataHost name="wb_host01" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="2"  slaveThreshold="100">
                <heartbeat>show slave status</heartbeat>
                <writeHost host="mysql-server01" url="192.168.0.4:3306" user="root" password="root">
                        <readHost host="mysql-server02" url="192.168.0.5:3306" user="root" password="root" />
                </writeHost>
                <writeHost host="mysql-server02" url="192.168.0.5:3306" user="root" password="root" />
        </dataHost>
        <dataHost name="wb_host02" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100">
                <heartbeat>show slave status</heartbeat>
                <writeHost host="mysql-server03" url="192.168.0.7:3306" user="root" password="root">
                        <readHost host="mysql-server04" url="192.168.0.8:3306" user="root" password="root" />
                </writeHost>
                <writeHost host="mysql-server04" url="192.168.0.8:3306" user="root" password="root" />
        </dataHost>
</mycat:schema>

部分内容解释：

  • dataNode节点表示实际的物理节点，此处使用了两组主从，dataNode中的节点分表表示两台从服务器
  • schema节点中的table表示需要拆分的表，rule表示分表策略的名称，与rule.xml中的tableRule节点中的name属性对应

4、修改rule.xml，配置分表策略

[root@mysql-proxy conf]# cp rule.xml rule.xml.bak
[root@mysql-proxy conf]# vim rule.xml

配置分表策略，如下是按照主键ID取模进行分表：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
        <tableRule name="sharding-by-mod">
                <rule>
                        <columns>id</columns>
                        <algorithm>mod-long</algorithm>
                </rule>
        </tableRule>
        <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
                <!-- 表示数据节点的数量 -->
                <property name="count">2</property>
        </function>
</mycat:rule>

5、启动mycat服务，并插入两条数据

[root@mysql-proxy conf]# cd /usr/local/mycat/bin/
[root@mysql-proxy bin]# ./mycat start

使用user用户连接mycat，然后插入两条数据，如下：

#连接mycat服务
[root@mysql-proxy bin]# mysql -uuser -puser -P8066 -h127.0.0.1

#查看数据库
mysql> show databases;
+----------+
| DATABASE |
+----------+
| test_db  |
+----------+

#在t_user表中插入两条记录
mysql> use test_db;
mysql> insert into t_user(id,name,age,address) values(1,"wangbin",24,"Shan'Xi");
mysql> insert into t_user(id,name,age,address) values(2,"binwang",21,"Bei'Jing");

注意：上述插入数据时需要自己提供id，可以使用序列的方式或者ID生成器自己生成，此处暂时不介绍，如果不提供ID，会插入失败。
6、分别登陆mysql-server01和mysql-server03查看插入的数据
登陆mysql-server01，查看如下：

[root@mysql-server01 ~]# mysql -uroot -proot -P3306 -h127.0.0.1 test_db
#查数据
root@127.0.0.1 test_db> select * from t_user;
+----+----------+------+---------+
| id | name     | age  | address |
+----+----------+------+---------+
|  2 | binwang |   21 | BeiJing |
+----+----------+------+---------+
1 row in set (0.00 sec)

登陆mysql-server03，查看如下：

[root@mysql-server03 ~]# mysql -uroot -proot -h127.0.0.1 -P3306 test_db
#查数据
root@127.0.0.1 test_db> select * from t_user;
+----+----------+------+---------+
| id | name     | age  | address |
+----+----------+------+---------+
|  1 | wangbin |   24 | Shan'Xi |
+----+----------+------+---------+
1 row in set (0.00 sec)

从上述结果看到，id=1的数据和id=2的数据分别被分到mysql-server01组合mysql-server03组中。至此，基于MyCat的分库分表已经配置完成，读写分离可以通过监控MyCat的实时日志验证，日志位置为：/usr/local/mycat/logs/wrapper.log，可以自行查看，之前文章介绍过，此处不再赘述。
7、查看节点当前状态

[root@mysql-proxy bin]# mysql -uuser -puser -P9066 -h127.0.0.1
mysql> show @@datanode;
+-----------+-------------------+-------+-------+--------+------+------+---------+------------+----------+---------+---------------+
| NAME      | DATHOST           | INDEX | TYPE  | ACTIVE | IDLE | SIZE | EXECUTE | TOTAL_TIME | MAX_TIME | MAX_SQL | RECOVERY_TIME |
+-----------+-------------------+-------+-------+--------+------+------+---------+------------+----------+---------+---------------+
| wb_node01 | wb_host01/test_db |     0 | mysql |      0 |   10 | 1000 |     140 |          0 |        0 |       0 |            -1 |
| wb_node02 | wb_host02/test_db |     0 | mysql |      0 |   10 | 1000 |     139 |          0 |        0 |       0 |            -1 |
+-----------+-------------------+-------+-------+--------+------+------+---------+------------+----------+---------+---------------+

可以看到，节点目前都处于存活状态。

以上内容介绍了使用ID取模的方式借助MyCat中间件实现数据库的分库分表及读写分离过程。文章中概念内容介绍的比较少，因为在MyCat的官网上有更详细的概念描述。如有不明白，可下方评论。欢迎转发！

后续更多文章将更新在个人小站上，欢迎查看。

另外提供一些优秀的IT视频资料，可免费下载！如需要请查看https://www.592xuexi.com

    原文作者：夏日寒冰
    原文地址: https://segmentfault.com/a/1190000015566494
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞