OpenResty实现限流的几种方式

爱被打了一巴掌 2023-02-15 12:43 34阅读 0赞

在开发 `api` 网关的时，做过一些简单的限流，比如说静态拦截和动态拦截；静态拦截说白了就是限流某一个接口在一定时间窗口的请求数。用户可以在系统上给他们的接口配置一个每秒最大调用量，如果超过这个限制，则拒绝服务此接口，而动态拦截其实也是基于静态拦截进行改进，我们可以依据当前系统的响应时间来动态调整限流的阈值，如果响应较快则可以把阈值调的大一些，放过更多请求，反之则自动降低限流阈值，只使少量请求通过。

其实这就是一个很简单的限流方式。但是因为这些场景在我们开发的时候经常遇到，所以在这里用 `OpenResty` 大概实现一些常见的限流方式。（此处使用`OpenResty1.13.6.1`版本自带`lua-resty-limit-traffic`模块 ，实现起来更为方便）

## 限制接口总并发数 ##

场景：  
按照 `ip` 限制其并发连接数

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 </td> 
 <td> <code>ua_shared_dict&nbsp;my_limit_conn_store&nbsp;100m;</code> <code>...</code> <code>location&nbsp;/hello&nbsp;{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>access_by_lua_block&nbsp;{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local&nbsp;limit_conn&nbsp;=&nbsp;require&nbsp;"resty.limit.conn"</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;限制一个&nbsp;ip&nbsp;客户端最大&nbsp;1&nbsp;个并发请求</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;burst&nbsp;设置为&nbsp;0，如果超过最大的并发请求数，则直接返回503，</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;如果此处要允许突增的并发数，可以修改&nbsp;burst&nbsp;的值（漏桶的桶容量）</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;最后一个参数其实是你要预估这些并发（或者说单个请求）要处理多久，以便于对桶里面的请求应用漏桶算法</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local&nbsp;lim,&nbsp;err&nbsp;=&nbsp;limit_conn.new("my_limit_conn_store",&nbsp;1,&nbsp;0,&nbsp;0.5)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if&nbsp;not&nbsp;lim&nbsp;then</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ngx.log(ngx.ERR,&nbsp;"failed&nbsp;to&nbsp;instantiate&nbsp;a&nbsp;resty.limit.conn&nbsp;object:&nbsp;",&nbsp;err)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return&nbsp;ngx.exit(500)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>end</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local&nbsp;key&nbsp;=&nbsp;ngx.var.binary_remote_addr</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;commit&nbsp;为true&nbsp;代表要更新shared&nbsp;dict中key的值，</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;false&nbsp;代表只是查看当前请求要处理的延时情况和前面还未被处理的请求数</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local&nbsp;delay,&nbsp;err&nbsp;=&nbsp;lim:incoming(key,&nbsp;true)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if&nbsp;not&nbsp;delay&nbsp;then</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if&nbsp;err&nbsp;==&nbsp;"rejected"&nbsp;then</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return&nbsp;ngx.exit(503)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>end</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ngx.log(ngx.ERR,&nbsp;"failed&nbsp;to&nbsp;limit&nbsp;req:&nbsp;",&nbsp;err)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return&nbsp;ngx.exit(500)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>end</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;如果请求连接计数等信息被加到shared&nbsp;dict中，则在ctx中记录下，</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;因为后面要告知连接断开，以处理其他连接</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if&nbsp;lim:is_committed()&nbsp;then</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local&nbsp;ctx&nbsp;=&nbsp;ngx.ctx</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ctx.limit_conn&nbsp;=&nbsp;lim</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ctx.limit_conn_key&nbsp;=&nbsp;key</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ctx.limit_conn_delay&nbsp;=&nbsp;delay</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>end</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local&nbsp;conn&nbsp;=&nbsp;err</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;其实这里的&nbsp;delay&nbsp;肯定是上面说的并发处理时间的整数倍，</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;举个例子，每秒处理100并发，桶容量200个，当时同时来500个并发，则200个拒掉</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;100个在被处理，然后200个进入桶中暂存，被暂存的这200个连接中，0-100个连接其实应该延后0.5秒处理，</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;101-200个则应该延后0.5*2=1秒处理（0.5是上面预估的并发处理时间）</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if&nbsp;delay&nbsp;&gt;=&nbsp;0.001&nbsp;then</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ngx.sleep(delay)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>end</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>log_by_lua_block&nbsp;{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local&nbsp;ctx&nbsp;=&nbsp;ngx.ctx</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local&nbsp;lim&nbsp;=&nbsp;ctx.limit_conn</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if&nbsp;lim&nbsp;then</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local&nbsp;key&nbsp;=&nbsp;ctx.limit_conn_key</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;这个连接处理完后应该告知一下，更新shared&nbsp;dict中的值，让后续连接可以接入进来处理</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;此处可以动态更新你之前的预估时间，但是别忘了把limit_conn.new这个方法抽出去写，</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>--&nbsp;要不每次请求进来又会重置</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local&nbsp;conn,&nbsp;err&nbsp;=&nbsp;lim:leaving(key,&nbsp;0.5)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if&nbsp;not&nbsp;conn&nbsp;then</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ngx.log(ngx.ERR,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>"failed&nbsp;to&nbsp;record&nbsp;the&nbsp;connection&nbsp;leaving&nbsp;",</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>"request:&nbsp;",&nbsp;err)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>end</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>end</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_pass&nbsp;http://10.100.157.198:6112;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_set_header&nbsp;Host&nbsp;$host;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_redirect&nbsp;off;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_set_header&nbsp;X-Real-IP&nbsp;$remote_addr;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_set_header&nbsp;X-Forwarded-For&nbsp;$proxy_add_x_forwarded_for;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_connect_timeout&nbsp;60;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_read_timeout&nbsp;600;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_send_timeout&nbsp;600;</code> </td> 
 </tr> 
 </tbody> 
</table>

说明：  
其实此处没有设置 `burst` 的值，就是单纯的限制最大并发数，如果设置了 `burst`的值，并且做了延时处理，其实就是对并发数使用了漏桶算法，但是如果不做延时处理，其实就是使用的令牌桶算法。参考下面对请求数使用漏桶令牌桶的部分，并发数的漏桶令牌桶实现与之相似

## 限制接口时间窗请求数 ##

场景：  
限制 `ip` 每分钟只能调用 120 次 `/hello` 接口（允许在时间段开始的时候一次性放过120个请求）

## 平滑限制接口请求数 ##

场景：  
限制 `ip` 每分钟只能调用 120 次 `/hello` 接口（平滑处理请求，即每秒放过2个请求）

## 漏桶算法限流 ##

场景：  
限制 `ip` 每分钟只能调用 120 次 `/hello` 接口（平滑处理请求，即每秒放过2个请求），超过部分进入桶中等待，（桶容量为60），如果桶也满了，则进行限流

## 令牌桶算法限流 ##

令牌桶其实可以看着是漏桶的逆操作，看我们对把超过请求速率而进入桶中的请求如何处理，如果是我们把这部分请求放入到等待队列中去，那么其实就是用了漏桶算法，但是如果我们允许直接处理这部分的突发请求，其实就是使用了令牌桶算法。

场景：  
限制 `ip` 每分钟只能调用 120 次 `/hello` 接口（平滑处理请求，即每秒放过2个请求），但是允许一定的突发流量（突发的流量，就是桶的容量（桶容量为60），超过桶容量直接拒绝

这边只要将上面漏桶算法关于桶中请求的延时处理的代码修改成直接送到后端服务就可以了，这样便是使用了令牌桶

说明：  
其实`nginx`的`ngx_http_limit_req_module` 这个模块中的`delay`和`nodelay`也就是类似此处对桶中请求是否做延迟处理的两种方案，也就是分别对应的漏桶和令牌桶两种算法