数据库中间件mysql-proxy细节【mysql官方的中间件】

快来打我* 2023-09-30 20:39 70阅读 0赞

## **一、mysql-proxy简介** ##

mysql-proxy是mysql官方提供的mysql中间件**服务**，上游可接入若干个mysql-client，后端可连接若干个mysql-server，它**使用****mysql****协议**，任何连接mysql的上游无需任何更改即可迁移至mysql-proxy上。

mysql-proxy最基本的用法，就是作为一个请求拦截，请求中转的中间层：

![37ca8a45440941267b12e8f946537fdd.jpeg][]

进一步的，mysql-proxy可以分析与修改请求。**拦截查询和修改结果，需要通过编写****Lua****脚本来完成**。mysql-proxy允许用户指定Lua脚本对请求进行拦截，对请求进行分析与修改，它还允许用户指定Lua脚本对服务器的返回结果进行修改，加入一些结果集或者去除一些结果集均可。

【SK画外音：sql拦截与修改，性能分析与监控，读写分离，请求路由等各种功能都是通过编写Lua脚本来完成的，mysql-proxy是个框架，具备很好的扩展性。这个框架提供了6个hook点，能够让用户能够动态的介入到client与server中的通讯中去。】

## **二、mysql-proxy命令参数** ##

**版本显示**

使用--version参数即可：

./mysql-proxy --version

从输出可以看到mysql-proxy的版本，以及依赖的glib，libevent，lua的版本

1 mysql-proxy0.8.3

2 chassis: mysql-proxy 0.8.3

3 glib2: 2.16.6

4 libevent: 1.4.13-stable

5 LUA: Lua 5.1.4

8 -- modules

9 proxy: 0.8.3

**简单启动**

mysql-proxy启动至少需要指定一个后端mysql的ip和端口号，此时带上--proxy-backend-addresses参数即可：

./mysql-proxy --proxy-backend-addresses=127.0.0.1:3306

**指定配置文件启动**

mysql-proxy亦可以指定配置文件启动，此时带上--defaults-file来指定配置文件即可：

./mysql-proxy --defaults-file=./mysql-proxy.cnf

mysql-proxy.cnf的格式如下：

1\[mysql-proxy\]

2proxy-backend-addresses = 127.0.0.1:3306

需要注意，在命令行中参数前需要加入“--”，而在配置文件中则不需要。

**寻求帮助**

可以使用--help，或者--help-all

./mysql-proxy --help

./mysql-proxy --help-all

**Proxy****常用选项**

注意：

如果设置了多个后端mysql，负载均衡策略为round-robin。例如设了A和B两台后端，第一个请求转发到A，第二个请求转发到B，第三个请求转发到A，以此类推。

**Proxy****服务常用选项**

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> 选项 </td> 
 <td style="vertical-align:top;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> proxy-address=$host:$port </td> 
 <td style="vertical-align:top;"> mysql-proxy的ip和port，默认port是4040 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> daemon=$bool </td> 
 <td style="vertical-align:top;"> 是否使用daemon模式启动 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> event-threads=$count </td> 
 <td style="vertical-align:top;"> event-handing线程数，默认值是1 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> keep-alive=$bool </td> 
 <td style="vertical-align:top;"> proxy服务崩溃后自动重启 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> log-file=$file_name </td> 
 <td style="vertical-align:top;"> 日志文件 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> log-level=$level </td> 
 <td style="vertical-align:top;"> 日志级别：error|warning|info|message|debug </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> log-use-syslog=$bool </td> 
 <td style="vertical-align:top;"> 日志使用syslog </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> max-open-files=$count </td> 
 <td style="vertical-align:top;"> 最大文件句柄数 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> pid-file=$file_name </td> 
 <td style="vertical-align:top;"> pid文件 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"></td> 
 <td style="vertical-align:top;"></td> 
 </tr> 
 </tbody> 
</table>

**典型配置文件示例**

1\[mysql-proxy\]

3proxy-address = 127.0.0.1:4040

4 daemon =true

5event-threads = 2

6 keep-alive= true

7 log-file =./mysql-proxy.log

8 log-level= debug

9max-open-files = 1024

10 pid-file =./mysql-proxy.pid

12 proxy-lua-script= ./ro-balance.lua

13proxy-backend-addresses = 127.0.0.1:3306

14proxy-skip-profiling = false

启动过程中提示：

2013-12-28 15:15:49: (critical)mysql-proxy-cli.c:326: loading config from './mysql-proxy.cnf' failed:permissions of ./mysql-proxy.cnf aren't secure (0660 or stricter required)

由于安全要求，必须将配置文件权限设为660（创建人可读写，同组人可读），否则不允许启动。

## **三、mysql-proxy脚本编程** ##

如“简介”中所述，mysql-proxy向用户提供了6个hook点，让用户实现Lua脚本来完成各种功能，这些hook点是以函数的形式提供的，用户可以实现这些函数，在不同事件、不同操作发生时，做我们期望的事情。

**connect\_server()**

mysql-client向proxy发起连接时，proxy会调用这个函数。用户可以实现该函数，来做一些负载均衡的事情，例如选择将要连向那个mysql-server。假设有多个mysql-server后端，而用户又没有实现这个函数，proxy默认采用轮询（round-robin）策略。

**read\_handshake()**

mysql-server向proxy返回“初始握手信息”时，proxy会调用这个函数。用户可以实现这个函数，来做更多的权限验证工作。

**read\_auth()**

mysql-client向proxy发送认证报文（user\_name, password,database）时，proxy会调用这个函数。

**read\_auth\_result()**

mysql-server向proxy返回认证结果时，proxy会调用这个函数。

**read\_query()**

认证完成后，mysql-client每次经过proxy向mysql-server发送query报文时，proxy会调用这个函数。用户如果要拦截请求，就可以模拟mysql-server直接返回了，当然用户亦可以实现各种策略，修改请求，路由请求等各种不同的业务逻辑。

**read\_query\_result()**

认证完成后，mysql-server每次经过proxy向mysql-client返回query结果时，proxy会调用这个函数。需要注意，如果用户没有显示实现read\_query()函数，则read\_query\_result()函数是不会被调用的。用户可以在此处实现各种合并策略，或者对结果集进行修改。

【SK画外音：下图是一个各hook函数的触发图（请注意请求方向）】

![14a63da819789c003af662b03358ce4f.jpeg][]

【SK继续画外音：可以发现，最重要的两个函数其实是read\_query()和read\_query\_result()，各种sql的改写与结果集的改写逻辑，都是在这两个函数中实现的，更细节的query过程如下图】

![41abece859fcc48cea11bcca1272b0e7.jpeg][]

**案例一： sql时间统计分析**

不妨设mysql-client提交的原sql为：SELECT \* FROM City;

proxy可以在read\_query()里将其改写为：SELECT NOW(); SELECT \*FROM City; SELECT NOW();

这样在返回结果集时，就可以在应用层对sql时间进行记录，以方便统计分析。

**案例二：sql性能统计分析**

不妨设mysql-client提交的原sql为：SELECT \* FROM City;

proxy可以在read\_query()里将其改写为： SELECT \* FROM City; EXPLAIN SELECT \* FROMCity;

这样在返回结果集时，就可以在应用层对sql性能进行记录，以方便统计分析。

**需要强调的是**，这两个案例，由于proxy在read\_query()时对sql进行了改写，故在read\_query\_result()时，mysql-server其实返回了比原请求更多的信息，proxy一定要将多余的信息去掉，再返回mysql-client。多说一句，可以加入一个唯一ID，来对请求sql和返回结果进行配对。

**demo**

需求：在业务层统计sql日志

实现：tutorial-basic.lua

1 -- 如果是COM\_QUERY，就将内容打印出来

2 functionread\_query( packet )

3 if string.byte(packet) == proxy.COM\_QUERYthen

4 print("we got a normal query:" .. string.sub(packet, 2))

5 end

6 end

修改配置并重启proxy：

proxy-lua-script = tutorial-basic.lua

客户端使用黑黑的窗口连接4040端口的proxy，并进行一系列sql操作，操作序列如下：

mysql -h127.0.0.1 -uroot -P4040

show databases;

use im;

show tables;

select \* from user;

quit

通过tutorial-basic.lua，会将上述操作都记录到日志中，日志序列如下：

we got a normal query: select @@version\_comment limit1

we got a normal query: show databases

we got a normal query: SELECT DATABASE()

we got a normal query: show tables

we got a normal query: select \* from user

【SK画外音：咦，通过这个日志我才知道，连上数据库会默认发一个select @@version\_comment limit 1的请求呢。use im;这个请求，为啥变成SELECT DATABASE()了呢？】

## 四、FAQ ##

**（1）如何实现最简单的读写分离？**

shell> mysql-proxy \\

\--proxy-backend-addresses=10.0.1.2:3306 \\

\--proxy-read-only-backend-addresses=10.0.1.3:3306

**（2）mysql proxy支持所有版本的mysql么？**

只支持mysql5.0+的mysql协议。

**（3）如果开启负载均衡，那事务怎么办？所有的query会发往同一台mysql么？**

如果用户不专门定制Lua脚本，会发往同一台mysql，以保证其完整性。

**（4）系统上下文切换代价大么？Lua脚本引入的额外开销有多大？**

Lua很快，对于大部分应用来说，额外开销很小，原始包（raw packet）开销大概在400微秒左右。

【SK画外音：这，，，我不太相信】

**（5）Lua脚本可以动态加载么？**

升级了Lua脚本，连接建立后才会读取新的哟。

**（6）如果proxy和mysql部署在一台机器上，有什么需要建议的呢？**

proxy单独部署也可以，和mysql部署在同一台机器上也可以。相比mysql而言，proxy不怎么占CPU和内存，其性能损耗可以忽略不计。

【SK画外音：这，，，性能损耗可以忽略，这我也不信】

**（7）Lua脚本是预读到内存里的吧？还是说每次都要到文件系统里读？**

客户端连接过来时，或者脚本更新时会读取，其他的时候都读内存哟。

**（8）加入客户端连上来，出发了connect\_server()函数，Lua脚本能连接多个mysql么？**

可以，使用指引里有样例代码哟。

**（9）proxy可以处理SSL连接么？**

不可以，作为中间人，不能处理加密信息。

**（10）proxy不会获取和保存我的明文密码吧？**

不会，也获取不到。mysql协议不允许密码以明文传输，传输的都是加密后的密文。

**（11）有隔离问题，调试问题的工具么？如果请求出错了，我怎么知道错误发生在mysql客户端，还是mysql服务端，还是proxy呢？**

你可以自己在proxy里设置debug脚本进行调试，例如设置断点什么的。

**（12）瞧你官网吹的，有哪个大网站用了mysql-proxy么？请求量是什么级别？**

这问题问的，作为官网我，，，盖亚在线（http://www.gaiaonline.com/） 就是用的mysql-proxy哟，qps可以到2400。

【SK画外音：这是个外国的游戏网站，页面好丑啊。】

**（13）如果我在Lua脚本用使用LuaSocket可以么？**

大哥，这可能引起阻塞的，强烈不建议这样。

都读到这了，帮忙随手转发一个呗，原创不易。

下一期，将介绍阿里的数据库中间件。

回复大于10的随机整数，自动获取随机好文。

[37ca8a45440941267b12e8f946537fdd.jpeg]: https://img-blog.csdnimg.cn/img_convert/37ca8a45440941267b12e8f946537fdd.jpeg
[14a63da819789c003af662b03358ce4f.jpeg]: https://img-blog.csdnimg.cn/img_convert/14a63da819789c003af662b03358ce4f.jpeg
[41abece859fcc48cea11bcca1272b0e7.jpeg]: https://img-blog.csdnimg.cn/img_convert/41abece859fcc48cea11bcca1272b0e7.jpeg