开源分布式中间件 DBLE 快速入门指南

心已赠人 2022-03-02 08:16 321阅读 0赞

--------------------

DBLE 是企业级开源分布式中间件，江湖人送外号 “MyCat Plus”；以其简单稳定，持续维护，良好的社区环境和广大的群众基础得到了社区的大力支持；

--------------------

# 环境准备 #

## DBLE项目资料 ##

DBLE官方网站：https://opensource.actionsky.com
    可以详细了解DBLE的背景和应用场景，本文不涉及到的细节都可在官方文档获得更细节都信息；对于刚了解到同学，可以以本文为快速入门基础
    
    DBLE官方项目：https://github.com/actiontech/dble
    如对源码有兴趣或者需要定制的功能的可以通过源码编译
    
    DBLE下载地址：https://github.com/actiontech/dble/releases
    建议下载最新的releases版本，下载tar压缩包即可，如有源码编译需求的，可以下载源码包
    DBLE社区交流：669663113

## 安装JDK环境 ##

DBLE是使用java开发的，所以需要启动dble需要先在机器上安装java版本1.8或以上，并且确保JAVA\_HOME参数被正确的设置；

这里通过yum源的方式安装了openjdk，同学们可以自行google jdk的几百种安装方式，这里不在赘述；

# yum install java-1.8.0-openjdk

确认java环境已配置完成

# java -version
    openjdk version "1.8.0_191"
    OpenJDK Runtime Environment (build 1.8.0_191-b12)
    OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

# 安装DBLE #

DBLE的安装其实只要解压下载的目录就可以了，非常简单。

*  通过此连接下载最新安装包[https://github.com/actiontech...][https_github.com_actiontech...]
 *  解压并安装dble到指定文件夹中

mkdir -p $working_dir  
    cd $working_dir  
    tar -xvf actiontech-dble-$version.tar.gz  
    cd $working_dir/dble/conf

安装完成后，目录如下：

<table> 
 <thead> 
  <tr> 
   <th>目录</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>bin</td> 
   <td>dble命令：启动、重启、停止等</td> 
  </tr> 
  <tr> 
   <td>conf</td> 
   <td>dble配置信息,本文重点关注</td> 
  </tr> 
  <tr> 
   <td>lib</td> 
   <td>dble引用的jar包</td> 
  </tr> 
  <tr> 
   <td>logs</td> 
   <td>日志文件，包括dble启动的日志和运行的日志</td> 
  </tr> 
 </tbody> 
</table>

# 配置DBLE #

DBLE的配置文件都在conf目录里面，这里介绍几个常用的文件：

<table> 
 <thead> 
  <tr> 
   <th>文件</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>server.xml</td> 
   <td>DBLE server相关参数定义，包括dble性能，定时任务，端口，用户配置等；本文主要涉及到访问用户的配置</td> 
  </tr> 
  <tr> 
   <td>schema.xml</td> 
   <td>DBLE具体分片定义，规定table和schema以及dataNode之间的关系，指定每个表格使用哪种类型的分片方法，定义每个dataNode的连接信息等</td> 
  </tr> 
  <tr> 
   <td>rule.xml</td> 
   <td>DBLE实际用到的分片算法的配置</td> 
  </tr> 
 </tbody> 
</table>

## 应用场景一：数据拆分 ##

### 后端MySQL节点 ###

DBLE的架构其实很好理解，DBLE是代理中间件，DBLE后面就是物理数据库。对于使用者来说，访问的都是DBLE，不会接触到后端的数据库。

我们先演示简单的数据拆分的功能。物理部署结构如下表：

<table> 
 <thead> 
  <tr> 
   <th>服务</th> 
   <th>IP:Port</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DBLE</td> 
   <td>172.16.3.1:9066</td> 
   <td>DBLE实例，连接数据库时，连接此IP:Port</td> 
  </tr> 
  <tr> 
   <td>Mysql A</td> 
   <td>172.16.3.1:14014</td> 
   <td>物理数据库实例A，真正存储数据的数据库</td> 
  </tr> 
  <tr> 
   <td>Mysql B</td> 
   <td>172.16.3.1:14015</td> 
   <td>物理数据库实例B，真正存储数据的数据库</td> 
  </tr> 
 </tbody> 
</table>

*备注：为了演示简单，这里将实例都部署在了一台机器上并用不同端口做区分，同学们也可以用三台机器来做环境搭建*

在MySQL A和MySQL B中创建库表testdb.users来方便后续的验证，表结构如下：

CREATE TABLE `users` (
    `id` int(11) NOT NULL,
    `user` varchar(20) DEFAULT NULL,
    PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=latin1

### server.xml ###

server.xml里可以配置跟DBLE自身相关的许多参数，这里重点只关注下面这段访问用户相关的配置，其他默认即可；

第一段 "< system >" 为DBLE的服务端口（默认8066）和管理端口（默认9066）的配置

*  管理端口只能接受DBLE的管理命令，这里不做展开
 *  服务端口即DBLE的业务访问端口，可以接受SQL语句

第二段“< user >”配置管理理用户，默认为man1，密码为654321

*  即可以通过 mysql -P9066 -h 127.0.0.1 -u man1 -p654321来下发管理命令

第三段“< user >”配置业务用户，配置了一个账号test 密码password,针对数据库testdb,读写权限都有，没有针对表做任何特殊的权限，故把表配置做了注释

*  即可以通过 mysql -P8066 -h 127.0.0.1 -utest -ppassword下发SQL语句

...
    
        <system>
            ...
            
            
            ...    
        </system>
        <user name="man1">
            <property name="password">654321</property>
            <property name="manager">true</property>
            
        </user>
    
        <user name="test">
            <property name="password">password</property>
            <property name="schemas">testdb</property>
    
            
            
        </user>
    ...

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>user</td> 
   <td>用户配置节点</td> 
  </tr> 
  <tr> 
   <td>name</td> 
   <td>登录的用户名，也就是连接DBLE的用户名</td> 
  </tr> 
  <tr> 
   <td>password</td> 
   <td>登录的密码，也就是连接DBLE的密码</td> 
  </tr> 
  <tr> 
   <td>schemas</td> 
   <td>数据库名，这里会和schema.xml中的配置关联，多个用逗号分开，例如需要这个用户需要管理两个数据库db1,db2，则配置db1,db2</td> 
  </tr> 
  <tr> 
   <td>privileges</td> 
   <td>配置用户针对表的增删改查的权限，具体见官方文档，这里不做展开</td> 
  </tr> 
 </tbody> 
</table>

### schema.xml ###

schema.xml是最主要的配置项，我们将users用户表按照取模的方式平均拆分到了MySQL A和MySQL B两个数据数据库实例上，  
详细请看配置文件：

<?xml version="1.0"?>
    <!DOCTYPE dble:schema SYSTEM "schema.dtd">
    <dble:schema xmlns:dble="http://dble.cloud/">
    
        <schema name="testdb">
            <table name="users" primaryKey="ID"  dataNode="dn1,dn2" rule="sharding-by-mod2" />
        </schema>
    
        
        <dataNode name="dn1" dataHost="Group1" database="testdb"/>
        <dataNode name="dn2" dataHost="Group2" database="testdb"/>
    
        
        <dataHost name="Group1" maxCon="1000" minCon="10" balance="0" switchType="1" slaveThreshold="100">
            <heartbeat>show slave status</heartbeat>
            <writeHost host="MySQLA" url="172.16.3.1:14014" user="test" password="password"/>
        </dataHost>
    
        <dataHost name="Group2" maxCon="1000" minCon="10" balance="0" switchType="1" slaveThreshold="100">
            <heartbeat>show slave status</heartbeat>
            <writeHost host="MySQLA" url="172.16.3.1:14015" user="test" password="password"/>
        </dataHost>
    </dble:schema>

参数说明

*  schema 逻辑数据库信息，此数据库为逻辑数据库，name 与 server.xml 中 schema对应;
 *  dataNode 分片信息，此为分片节点的定义；分片名字和schema的dataNode对应；分片与下面的dataHost 物理实例进行关联；
 *  dataHost 物理实例组信息，dataHost下可以挂载同组的读写物理实例节点，实现高可用或者读写分离；

每个节点的属性逐一说明：

*  schema:

属性说明 ：

-  name 逻辑数据库名，与 server.xml 中的 schema 对应； 
    -  table:

子属性说明 ：

-  name 表名，物理数据库中表名
        -  dataNode 表存储到哪些节点，多个节点用逗号分隔
        -  primaryKey 主键，用于主键缓存和自增识别，不作主键约束
        -  autoIncrement 是否自增 
        -  rule 分片规则名，具体规则下文 rule 详细介绍

*  dataNode  
    属性说明：
    
     *  name 节点名，与 table 中 dataNode 对应
     *  datahost 物理实例组名，与 datahost 中 name 对应
     *  database 物理数据库中数据库名；
 *  dataHost

属性说明：

*  name 物理数据库名，与 dataNode 中 dataHost 对应
 *  balance 均衡负载的方式
 *  switchtype 写节点的高可用切换方式；等于1时，心跳不健康发生切换
 *  heartbeat 心跳检测语句，注意语句结尾的分号要加
 *  writehost 写物理实例
    
        子属性说明 ：
        -  host 物理实例名
        -  url 物理库IP+Port
        -  user 物理库用户
        -  password 物理库密码

### rule.xml ###

主要关注rule属性，rule属性的内容来源于rule.xml这个文件，DBLE支持多种分表分库的规则，基本能满足你所需要的要求

table中的rule属性对应的就是rule.xml文件中tableRule的name,具体有哪些拆分算法实现，建议还是看下文档。我这里选择的sharding-by-mod2，是hash算法的特例，就是将数据平均拆分。因为我后端是两台物理库，所以rule.xml中hashmod2对应的partitionCountt为2，配置如下：

<tableRule name="sharding-by-mod2">
            <rule>
                <columns>id</columns>
                <algorithm>hashmod2</algorithm>
            </rule>
        </tableRule>
        <function name="hashmod2" class="Hash">
            <property name="partitionCount">2</property>
            <property name="partitionLength">1</property>
        </function>

### 验证配置生效 ###

启动DBLE

## 进入DBLE安装目录，执行start命令
    ./bin/dble start
    
    ## DBLE启动会自动加载配置，需确认进程是否正常启动，如启动失败，建议按照日志报错排查问题，正确启动日志如下：
    STATUS | wrapper  | 2019/01/21 17:31:43 | --> Wrapper Started as Daemon
    STATUS | wrapper  | 2019/01/21 17:31:43 | Launching a JVM...
    INFO   | jvm 1    | 2019/01/21 17:31:43 | OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
    INFO   | jvm 1    | 2019/01/21 17:31:44 | Wrapper (Version 3.2.3) http://wrapper.tanukisoftware.org
    INFO   | jvm 1    | 2019/01/21 17:31:44 |   Copyright 1999-2006 Tanuki Software, Inc.  All Rights Reserved.
    INFO   | jvm 1    | 2019/01/21 17:31:44 |
    INFO   | jvm 1    | 2019/01/21 17:31:45 | Server startup successfully. see logs in logs/dble.log

通过DBLE流量入口8066登陆数据库

mysql  -P8066 -h 127.0.0.1 -utest -ppassword

插入两条用户记录，并获取DBLE侧的查询记录

获取MySQLA和MySQLB的记录

# mysql  -P14014 -h 127.0.0.1 -utest -ppassword
    mysql> select * from users;
    +----+----------+
    | id | user     |
    +----+----------+
    |  2 | lisi     |
    +----+----------+
    1 rows in set (0.01 sec)
    
    # mysql  -P14015 -h 127.0.0.1 -utest -ppassword
    mysql> select * from users;
    +----+----------+
    | id | user     |
    +----+----------+
    |  1 | zhangsan |
    +----+----------+
    1 rows in set (0.01 sec)

从上面的验证流程，往DBLE插入的数据，会按照取模的方式下发到真实的物理库，来实现数据库的自动分片；同时通过DBLE下发的查询会被DBLE自动下发给实际的物理库，合并返回给客户端，可以通过explain执行计划观察到下发的实际下发给物理库的SQL语句

## 应用场景二：读写分离 ##

DBLE除了做数据的分片功能外，也支持读写分离功能；开启读写分离功能后，可以将主实例上的读压力负载给原本stand by的从实例，从而扩展整个集群的吞吐能力；

### 后端MySQL节点 ###

我们再通过示例，演示DBLE的读写分离的功能。物理部署结构如下表：

<table> 
 <thead> 
  <tr> 
   <th>服务</th> 
   <th>IP:Port</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DBLE</td> 
   <td>172.16.3.1:9066</td> 
   <td>DBLE实例，连接数据库时，连接此IP:Port</td> 
  </tr> 
  <tr> 
   <td>Mysql A</td> 
   <td>172.16.3.1:14014</td> 
   <td>物理数据库实例A，master实例</td> 
  </tr> 
  <tr> 
   <td>Mysql B</td> 
   <td>172.16.3.1:14015</td> 
   <td>物理数据库实例B，slave实例</td> 
  </tr> 
 </tbody> 
</table>

*备注：为了演示简单，这里将实例都部署在了一台机器上并用不同端口做区分，同学们也可以用三台机器来做环境搭建*

此场景中，我们将MySQL A和MySQL B搭建成主从复制关系，同时我们只变更schema.xml的配置来完成读写分离的架构；

### schema.xml ###

<?xml version="1.0"?>
    <!DOCTYPE dble:schema SYSTEM "schema.dtd">
    <dble:schema xmlns:dble="http://dble.cloud/">
    
        <schema name="testdb">
        </schema>
    
        
        <dataNode name="dn1" dataHost="Group1" database="testdb"/>
    
        
        <dataHost name="Group1" maxCon="1000" minCon="10" balance="3" switchType="1" slaveThreshold="100">
            <heartbeat>show slave status</heartbeat>
            <writeHost host="MySQLA" url="172.16.3.1:14014" user="test" password="password">
                <readHost host="MySQLB" url="172.16.3.1:14015" user="test" password="password"/>
            </writeHost>    
        </dataHost>
    </dble:schema>

DBLE通过balance参数来控制读写分离的负载策略，写节点是否参与均衡与datahost的balance属性有关，本案例中我们将值调整为balance="3"，并定义了writeHost和readHost  
balance的定义具体见下图

![206842895-5c4a7f2db0515_articlex][]

### 验证配置生效 ###

通过DBLE管理入口9066登陆数据库，注意这里我们通过管理入口的show @@datasource来验证读写分离的状态的正确性

*  session1

##session1 登陆DBLE的管理端，查看读写分离的节点状态
    mysql  -P9066 -h 127.0.0.1 -uman1 -p654321
    mysql> show @@datasource;
    +--------+------------+-------+------+--------+------+------+---------+-----------+------------+
    | NAME   | HOST       | PORT  | W/R  | ACTIVE | IDLE | SIZE | EXECUTE | READ_LOAD | WRITE_LOAD |
    +--------+------------+-------+------+--------+------+------+---------+-----------+------------+
    | MySQLA | 172.16.3.1 | 19388 | W    |     11 |   11 | 1000 |      11 |         0 |          0 |
    | MySQLB | 172.16.3.1 | 19389 | R    |      1 |    4 | 1000 |       3 |         0 |          0 |
    +--------+------------+-------+------+--------+------+------+---------+-----------+------------+
    2 rows in set (0.00 sec)

*  session2

## session2  下发selct语句5次，查看READ_LOAD字段计数器的变化
    mysql  -P8066 -h 127.0.0.1 -utest -ppassword
    mysql> select * from users;

*  session1

##session1 返回DBLE的管理端，查看读写分离的节点状态
    mysql> show @@datasource;
    +--------+------------+-------+------+--------+------+------+---------+-----------+------------+
    | NAME   | HOST       | PORT  | W/R  | ACTIVE | IDLE | SIZE | EXECUTE | READ_LOAD | WRITE_LOAD |
    +--------+------------+-------+------+--------+------+------+---------+-----------+------------+
    | MySQLA | 172.16.3.1 | 19388 | W    |     11 |   11 | 1000 |      11 |         0 |          0 |
    | MySQLB | 172.16.3.1 | 19389 | R    |      1 |    4 | 1000 |       8 |         5 |          0 |
    +--------+------------+-------+------+--------+------+------+---------+-----------+------------+
    2 rows in set (0.00 sec)

从show @@datasource;这个管理命令上我们能够观测到READ\_LOAD在slave节点上计数器增加了5次，也就是说读流量顺利的下发到了slave节点；当然大家也可以通过打开mysql的general log来观测读写分离的情况

# 总结 #

本文通过两个场景来讲解DBLE的快速入门，希望通过简单的示例来给大家梳理DBLE的基本概念，帮助大家快速熟悉和使用DBLE这个中间件；更高阶的使用方法和细节建议大家参考官方文档；

![图片描述][2683900803-5c371b6b46fec_articlex]

[https_github.com_actiontech...]: https://github.com/actiontech/dble/releases
[206842895-5c4a7f2db0515_articlex]: /images/20220302/f533cdbefb6947629c82fa0992e8a277.png
[2683900803-5c371b6b46fec_articlex]: /images/20220302/3a35f80fab4049f2ac76908955a51b05.png