Day15_06_分库分表教程之Linux中安装配置MyCat

男娘i 2024-02-19 20:22 17阅读 0赞

## Linux中MyCat安装配置 ##

### 一. MyCat下载 ###

Mycat下载可以到官网下载,也可以到github上下载.

#### 1. 官方网站 ####

[http://www.mycat.org.cn/][http_www.mycat.org.cn]

#### 2. github地址 ####

[https://github.com/MyCATApache][https_github.com_MyCATApache]

### 二. MyCat安装配置 ###

MyCat安装,需要先安装配置好JDK.

#### 1. 上传并解压 ####

把MyCat的压缩包上传到linux服务器,并且解压.

切换目录
    cd /usr/local/  
        
    解压
    tar -zxvf Mycat-server-1.4-linux.tar.gz

#### 2. MyCat常用命令 ####

启动
    /usr/local/mycat/bin/mycat start
    
    停止      
    /usr/local/mycat/bin/mycat stop
    
    重启
    /usr/local/mycat/bin/mycat restart

#### 3. 连接MyCat ####

可以使用MySQL自带的客户端进行连接,也可以使用可视化软件进行连接.

mycat的默认的账号和密码都是test.

客户端连接:  
`mysql -h 10.211.55.12 -u test -p -P 8066`

可视化工具连接

注意: 可以使用mysql的客户端直接连接mycat服务,默认服务端口为8066.

### 三. MyCat分片配置 ###

将指定的一张表进行分片存储,比如存储到三个数据节点上.

#### 1. 创建三个数据库,准备表 ####

使用一台服务器模拟分片操作,创建三个数据库分别命名.

db_mycat_1
        db_mycat_2
        db_mycat_3
        ip地址：10.211.55.12

#### 2. MyCat配置文件说明 ####

#### 2.1 server.xml介绍 ####

server.xml几乎保存了所有mycat需要的系统配置信息,最常用的是在此配置用户名、密码及权限.

常用标签:

1️⃣.user标签

内容:
    <user name="test"> 说明用户名是test.
    
    子标签:
    property,privileges

2️⃣.property标签

<table> 
 <thead> 
  <tr> 
   <th>内容</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>test</code></td> 
   <td>用户密码是test</td> 
  </tr> 
  <tr> 
   <td><code>db1, db2</code></td> 
   <td>可访问的schema有db1,db2</td> 
  </tr> 
  <tr> 
   <td><code>true</code></td> 
   <td>是否只读</td> 
  </tr> 
  <tr> 
   <td><code>11111</code></td> 
   <td>连接上限,降级权值</td> 
  </tr> 
  <tr> 
   <td><code>1</code></td> 
   <td>是否开启加密</td> 
  </tr> 
 </tbody> 
</table>

3️⃣.privileges标签:

对用户的 schema以及表进行精细化的DML权限控制.
    <privileges check="false">
    check表示是否开启DML权限检查,默认是关闭.
    
    注意:
    server.dtd文件中可以有多个schema的配置!

#### 2.2 dml顺序说明: ####

insert,update,select,delete

<schema name="db1" dml="0110" >
       <table name="tb01" dml="0000"></table>
       <table name="tb02" dml="1111"></table>
    </schema>
    
    db1的权限是update,select;
    tb01的权限是啥都不能干;
    tb02的权限是insert,update,select,delete; 
    其他表默认是udpate,select.

1️⃣.system标签

字符集
    <property name="charset">utf8</property> 
    
    处理线程数量,默认是cpu数量.
    <property name="processors">1</property> 
    
    每次读取流的数量,默认4096
    <property name="processorBufferChunk">4096</property>
    
    创建共享buffer需要占用的总空间大小,processorBufferChunk*processors*100.
    <property name="processorBufferPool">409600</property> 
    
    默认为0,0表示:DirectByteBufferPool,1表示ByteBufferArena.
    <property name="processorBufferPoolType">0</property>
    
    二级共享buffer是processorBufferPool的百分比,这里设置的是百分比.
    <property name="processorBufferLocalPercent">100</property>
    
    全局ID生成方式:
    0:为本地文件方式;
    1:为数据库方式;
    2:为时间戳序列方式;
    3:为ZK生成ID;
    4:为ZK递增ID生成.
    <property name="sequnceHandlerType">100</property>
    
    是否开启mysql压缩协议,1为开启,0为关闭,默认关闭.
    <property name="useCompression">1</property>
    
    指定 Mysql 协议中的报文头长度,默认 4.
    <property name="packetHeaderSize">4</property> 
    
    指定 MySQL协议可以携带的数据最大长度,默认 16M.
    <property name="maxPacketSize">16M</property>
    
    指定连接的空闲超时时间,某连接在发起空闲检查下,发现距离上次使用超过了空闲时间,那么这个连接会被回收,就是被直接的关闭掉.默认 30 分钟,单位毫秒.
    <property name="idleTimeout">1800000</property>
    
    前端连接的初始化事务隔离级别,只在初始化的时候使用,后续会根据客户端传递过来的属性对后端数据库连接进行同步.
    默认为 REPEATED_READ,设置值为数字默认 3.
    READ_UNCOMMITTED = 1; 
    READ_COMMITTED = 2; 
    REPEATED_READ = 3; 
    SERIALIZABLE = 4;
    <property name="txIsolation">3</property>
    
    SQL 执行超时的时间,Mycat 会检查连接上最后一次执行 SQL 的时间,若超过这个时间则会直接关闭这连接,默认时间为 300 秒,单位秒.
    <property name="sqlExecuteTimeout">300</property>
    
    清理 NIOProcessor 上前后端空闲、超时和关闭连接的间隔时间,默认是 1 秒,单位毫秒.
    <property name="processorCheckPeriod">1000</property>
    
    对后端连接进行空闲、超时检查的时间间隔,默认是 300 秒,单位毫秒.
    <property name="dataNodeIdleCheckPeriod">300000</property> 
    
    对后端所有读、写库发起心跳的间隔时间,默认是 10 秒,单位毫秒.
    <property name="dataNodeHeartbeatPeriod">10000</property>
    
    mycat 服务监听的 IP 地址,默认值为 0.0.0.0
    <property name="bindIp">0.0.0.0</property>
    
    定义 mycat 的使用端口,默认值为 8066.
    <property name="serverPort">8066</property>
    
    定义 mycat 的管理端口,默认值为 9066
    <property name="managerPort">9066</property>
    
    mycat 模拟的 mysql 版本号,默认值为 5.6 版本,如非特需,不要修改这个值,
    目前支持设置 5.5/5.6/5.7 版本,其他版本可能会有问题.
    <property name="fakeMySQLVersion">5.6</property>
    
    是否开启实时统计,1为开启;0为关闭.
    <property name="useSqlStat">0</property>  
    
    是否开启全局表一致性检测,1为开启;0为关闭.
    <property name="useGlobleTableCheck">0</property>
    
    分布式事务开关:
    0为不过滤分布式事务;
    1为过滤分布式事务;
    2为不过滤分布式事务,但是记录分布式事务日志.
    <property name="handleDistributedTransactions">0</property>
    
    默认是65535, 64K用于sql解析时最大文本长度.
    <property name="maxStringLiteralLength">65535</property>
    
    以上举例的属性仅仅是一部分,可以配置的变量很多,具体可以查看SystemConfig这个类的属性内容.
    
    System标签下的属性,一般是上线后,需要根据实际运行的情况,分析后调优的时候进行修改.

2️⃣.Firewall标签

顾名思义,这个就是关于防火墙的设置,也就是在网络层对请求的地址进行限制,主要是从安全角度来保证Mycat不被匿名IP进行访问.

#### 2.3 schema.xml介绍 ####

Schema.xml作为MyCat中重要的配置文件之一,管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource.
    弄懂这些配置,是正确使用MyCat的前提,这里一层层对该文件进行解析.
    
    schema 标签用于定义MyCat实例中的逻辑库.
    
    Table 标签定义了MyCat中的逻辑表.
    
    dataNode 标签定义了MyCat中的数据节点,也就是我们通常说所的数据分片.
    
    dataHost 标签在mycat逻辑库中也是作为最底层的标签存在,直接定义了具体的数据库实例、读写分离配置和心跳语句.
    
    注意: 若是LINUX版本的MYSQL,则需要设置为Mysql大小写不敏感,否则可能会发生表找不到的问题.
    在MySQL的配置文件中my.cnf位置在etc目录下[mysqld] 中增加一行
    lower_case_table_names = 1

#### 2.4 rule.xml ####

rule.xml里面定义了我们对表进行拆分所涉及到的规则.
    我们可以灵活的对表使用不同的分片算法,或者对表使用相同的算法但具体的参数不同.
    这个文件里面主要有tableRule和function这两个标签.
    在具体使用过程中可以按照需求添加tableRule和function.

#### 3. Mycat分片实现步骤 ####

#### 3.1 server.xml配置 ####

编辑系统配置信息
    vim /usr/local/mycat/conf/server.xml

![Image 1][]

#### 3.2 schema.xml配置 ####

编辑规则配置信息
    vim /usr/local/mycat/conf/schema.xml

![Image 1][]

重新启动mycat!

#### 4. 测试分片 ####

4.1 创建表

#配置完毕后,重新启动mycat,使用mysql客户端连接mycat,创建表.
    mysql -uroot -psyc -P8066
    
    #注意,需要连接到mycat,执行建表语句,表名与schema.xml中的虚拟表名一致!
        
    #切换到mycat的某个数据库:
    use TESTDB
        
    #创建虚拟表:
    create table tb_user(id int primary key AUTO_INCREMENT COMMENT '用户序号',username varchar(20) NOT NULL COMMENT '账号',password varchar(32) NOT NULL COMMENT '密码',createtime datetime  COMMENT '创建时间')

4.2 创建数据

insert into TB_USER(id,username,password,createtime)        values(1,'zs','123456',now());
    
    insert into TB_USER(id,username,password,createtime)        values(200000,'zs','123456',now());
    
    insert into TB_USER(id,username,password,createtime)        values(5000001,'zs','123456',now());
    
    insert into TB_USER(id,username,password,createtime)        values(10000002,'zs','123456',now());

![Image 1][]

再看下三个分片的数据:  
![Image 1][]

4.2 分片测试

由于配置的分片规则为“auto-sharding-long”,所以mycat会根据此规则自动分片.
    
    每个datanode中保存一定数量的数据,根据id进行分片.
    
    经测试id范围为:
    Datanode1: 1~5000000
    Datanode2: 5000000~10000000
    Datanode3: 10000001~15000000
        
    当15000000以上的id插入时报错:
    [Err] 1064 - can't find any valid datanode: TB_ITEM -> ID -> 15000001
    此时需要添加节点了.

### 四. MySQL读写分离 ###

#### 1. 读写分离简介 ####

MySQL作为世界上使用最为广泛的数据库之一,免费是其原因之一,但不可忽略的是它本身的功能的确很强大.随着技术的发展,在实际的生产环境中,由于单台MySQL数据库服务器不能满足实际的需求,此时数据库集群就很好的解决了这个问题了.采用MySQL分布式集群,能够搭建一个高并发、负载均衡的集群服务器.在此之前我们必须要保证每台MySQL服务器里的数据同步,数据同步我们可以通过MySQL内部配置就可以轻松完成,主要有主从复制和主主复制.

数据库读写分离对于大型系统或者访问量很高的互联网应用来说,是必不可少的一个重要功能.对于MySQL来说,标准的读写分离是主从模式,一个写节点Master后面跟着多个读节点,读节点的数量取决于系统的压力,通常是1-3个读节点的配置.

![Image 1][]

Mycat读写分离和自动切换机制,需要MySQL的主从复制机制配合.

#### 2. MySQL的主从复制 ####

![Image 1][]

注意:

*  1️⃣.主DB server和从DB server数据库的版本一致;
 *  2️⃣.主DB server和从DB server数据库数据一致\[这里可以把主DB的备份在从DB上还原,也可以直接将主DB的数据目录拷贝到从DB的相应数据目录\];
 *  3️⃣.主DB server开启二进制日志,主DB server和从DB server的server\_id都必须唯一.

#### 3. MySQL主服务器配置 ####

3.1 修改my.cnf文件:位置/etc/my.cnf

vim /etc/my.cnf 编辑mysql的配置文件
    在[mysqld]段下添加：
    #启用的数据库
    inlog-do-db=db1
    #忽略的数据库
    binlog-ignore-db=mysql
    #启用二进制日志
    log-bin=mysql-bin
    #服务器唯一ID，一般取IP最后一段
    server-id=134

3.2 重启MySQL服务:

`service mysqld restart`  
![Image 1][]

下面的操作都需要连接Mysql的服务器进行设置.

建立帐户并授权slave:  
`GRANT REPLICATION SLAVE ON *.* to 'backup'@'%' identified by 'lx';`

刷新权限:  
`FLUSH PRIVILEGES;`

查看主库状态:  
`SHOW MASTER STATUS;`

查看mysql现在有哪些用户:  
`select user,host from mysql.user;`

![Image 1][]

一般不用root帐号,“%”表示所有客户端都可能连,只要帐号,密码正确,此处可用具体客户端IP代替,如10.211.55.12,加强安全.

#### 4. MySQL从服务器配置 ####

4.1 修改my.conf文件:

vim /etc/my.cnf 修改配置文件
    server-id=131  服务唯一地址

下面的操作都需要连接Mysql的服务器进行设置.

4.2 配置从服务器:

change master to master_host='10.211.55.12',
    master_port=3306,master_user='backup',
    master_password='lx',master_log_file='mysql-bin.000001',
    master_log_pos=439

注意语句中间不要断开,master\_port为MySQL服务器端口号(无引号),master\_user为执行同步操作的数据库账户,439无单引号(此处的439就是show master status 中看到的position的值,这里的mysql-bin.000001就是file对应的值).

4.3 启动从服务器复制功能:

`start slave;`

4.4 检查从服务器复制功能状态:

`show slave status`

……………………(省略部分)
     Slave_IO_Running: Yes //此状态必须YES
     Slave_SQL_Running: Yes //此状态必须YES
     ……………………(省略部分)

注: Slave\_IO及Slave\_SQL进程必须正常运行,即YES状态,否则都是错误的状态(如:其中一个NO均属错误).

#### 5. 错误处理 ####

5.1 错误现象

`Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.`

因为是mysql是克隆的系统所以mysql的uuid是一样的,所以需要修改.

5.2 解决方法

删除/var/lib/mysql/auto.cnf文件,重新启动服务.

![Image 1][]

以上操作过程,从服务器配置完成.

### 五. Mycat结合MySQL实现读写分离 ###

Mycat 从1.4版本开始支持MySQL主从复制状态绑定的读写分离机制,让读更加安全可靠.

#### 1. schema.xml的配置 ####

<dataNode name="dn1" dataHost="localhost1" database="db1" />
        <dataNode name="dn2" dataHost="localhost1" database="db2" />
        <dataNode name="dn3" dataHost="localhost1" database="db3" />
        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
            writeType="0" dbType="mysql" dbDriver="native" switchType="2"  slaveThreshold="100">
            <heartbeat>show slave status</heartbeat>
            <writeHost host="hostM" url="10.10.159.131:3306" user="root"
                password="qishimeiyoumima">
                <readHost host="hostS" url="10.10.159.141:3306" user="root"
                password="qishimeiyoumima" />
        </writeHost>
    </dataHost>

#### 2. 配置说明 ####

设置 balance="1"与writeType="0"

2.1 Balance参数设置

*  1️⃣.balance=“0”,所有读操作都发送到当前可用的writeHost上;
 *  2️⃣.balance=“1”,所有读操作都随机的发送到readHost;
 *  3️⃣.balance=“2”,所有读操作都随机的在writeHost、readhost上分发.

2.2 WriteType参数设置

*  1️⃣.writeType=“0”,所有写操作都发送到可用的writeHost上;
 *  2️⃣.writeType=“1”,所有写操作都随机的发送到readHost;
 *  3️⃣.writeType=“2”,所有写操作都随机的在writeHost、readhost分上发.

“readHost是从属于writeHost的,即意味着它从那个writeHost获取同步数据.因此,当它所属的writeHost宕机了,则它也不会再参与到读写分离中来,即“不工作了”,这是因为此时,它的数据已经“不可靠”了.

基于这个考虑,目前mycat 1.3和1.4版本中,若想支持MySQL一主一从的标准配置,并且在主节点宕机的情况下,从节点还能读取数据,则需要在Mycat里配置为两个writeHost并设置banlance="1".  
然后设置 switchType="2" 与slaveThreshold="100".

2.3 switchType 目前有三种选择

*  \-1: 表示不自动切换;
 *  1: 默认值,自动切换;
 *  2: 基于MySQL主从同步的状态决定是否切换.

“Mycat心跳检查语句配置为 `show slave status,dataHost` 上定义两个新属性:`switchType="2"` 与`slaveThreshold="100"`,此时意味着开启MySQL主从复制状态绑定的读写分离与切换机制.

Mycat心跳机制通过检测 `show slave status` 中的 `"Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running"`三个字段来确定当前主从同步的状态以及`Seconds_Behind_Master`主从复制时延.

[http_www.mycat.org.cn]: http://www.mycat.org.cn/
[https_github.com_MyCATApache]: https://github.com/MyCATApache
[Image 1]: