Nginx upstream性能优化

阳光穿透心脏的1/2处 2022-08-10 09:42 499阅读 0赞

# http://blog.csdn.net/poechant/article/details/7256184    #

http://blog.csdn.net/Poechant/article/category/1060686

# 1      目的 #

完成基于大报文和小报文场景的Nginx压测方案设计，其在长连接和短连接的最佳并发模型测试结果如下表：

大报文在短连接场景QPS在1.8K左右，在长连接场景QPS在2.1K左右，提升16.5%；

小报文在短连接场景QPS在5.6K左右，在长连接场景QPS在11.8K左右，提升一倍；

<table style="color:rgb(51,51,51)"> 
 <tbody> 
 <tr> 
 <td> 业务场景 </td> 
 <td> Nginx到后端 </td> 
 <td> 并发量 </td> 
 <td> QPS </td> 
 <td> CPU(%) </td> 
 <td> 带宽(M) </td> 
 <td> PPS </td> 
 </tr> 
 <tr> 
 <td> 大报文 </td> 
 <td> 短连接&nbsp;&nbsp; </td> 
 <td> 800 </td> 
 <td> 1855 </td> 
 <td> 61.31 </td> 
 <td> 763.48 </td> 
 <td> 142425.46 </td> 
 </tr> 
 <tr> 
 <td> 大报文 </td> 
 <td> 长连接 </td> 
 <td> 800 </td> 
 <td> 2162 </td> 
 <td> 66.74 </td> 
 <td> 881.56 </td> 
 <td> 133334.1 </td> 
 </tr> 
 <tr> 
 <td> 小报文 </td> 
 <td> 短连接 </td> 
 <td> 800 </td> 
 <td> 5678 </td> 
 <td> 43.35 </td> 
 <td> 117.64 </td> 
 <td> 104862.72 </td> 
 </tr> 
 <tr> 
 <td> 小报文 </td> 
 <td> 长连接 </td> 
 <td> 800 </td> 
 <td> 11808 </td> 
 <td> 60.55 </td> 
 <td> 226.45 </td> 
 <td> 151743.24 </td> 
 </tr> 
 </tbody> 
</table>

# 2      介绍    #

在nginx的模块中，分为3种类型，分别是handler，filter和upstream，其中upstream可以看做一种特殊的handler，它主要用来实现和后端另外的服务器(php/jboss等)进行通信，由于在nginx中全部都是使用非阻塞，并且是一个流式的处理，所以upstream的实现很复杂。

upstream顾名思义，真正产生内容的地方在”上游”而不是nginx，也就是说nginx是位于client和后端的upstream之间的桥梁，在这种情况下，一个upstream需要做的事情主要有2个，第一个是当client发送http请求过来之后，需要创建一个到后端upstream的请求。第二个是当后端发送数据过来之后，需要将后端upstream的数据再次发送给client。

## 2.1      Nginx Upstream连接后端有两种方式：短连接和长连接。    ##

**Keep-Alive**即俗称的长连接，使客户端到服务端建立的连接持续有效，当对服务器发起后续请求时，Keep-Alive功能可以复用先前使用过的连接，减少了重新建立连接所需的开销。通常使用HTTP协议采用的是请求应答模式，客户端到服务端的一次请求完成了，它们之间的连接也随之关闭。在某些应用场景下，比如后端RESTful服务，就需要保持住连接，这时就可以启用HTTP Keep-Alive。Nginx长连接的配置：

<table style="color:rgb(51,51,51)"> 
 <tbody> 
 <tr> 
 <td> upstream backend-others { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; server 10.x.x.x max_fails=0 fail_timeout=10s; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; server 10.x.x.x:81 max_fails=0 fail_timeout=10s;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;keepalive&nbsp;20000; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; } &nbsp; location / { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #防止502以及Timeout的发生 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_connect_timeout 75; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_read_timeout 300; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_send_timeout 300; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_buffer_size 64k; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_buffers&nbsp;&nbsp; 4 64k; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_busy_buffers_size 128k; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_temp_file_write_size 128k; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;proxy_http_version 1.1; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;proxy_set_header Connection ""; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_pass http://backend-others; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; } </td> 
 </tr> 
 </tbody> 
</table>

### 1   server ###

定义服务器的地址address和其他参数parameters。 地址可以是域名或者IP地址，端口是可选的，或者是指定“unix:”前缀的UNIX域套接字的路径。如果没有指定端口，就使用80端口。 如果一个域名解析到多个IP，本质上是定义了多个server。还可以定义下面的参数：

1)  weight=number 设定服务器的权重，默认是1。

2)  max\_fails=number 设定Nginx与服务器通信的尝试失败的次数。在fail\_timeout参数定义的时间段内，如果失败的次数达到此值，Nginx就认为服务器不可用。在下一个fail\_timeout时间段，服务器不会再被尝试。 失败的尝试次数默认是1。设为0就会停止统计尝试次数，认为服务器是一直可用的。你可以通过指令proxy\_next\_upstream、 fastcgi\_next\_upstream和 memcached\_next\_upstream来配置什么是失败的尝试。 默认配置时，http\_404状态不被认为是失败的尝试。

3)  fail\_timeout=time 设定统计失败尝试次数的时间段。在这段时间中，服务器失败次数达到指定的尝试次数，服务器就被认为不可用。服务器被认为不可用的时间段。默认情况下，该超时时间是10秒。

4)  Backup 标记为备用服务器。当主服务器不可用以后，请求会被传给这些服务器。

5)  Down 标记服务器永久不可用，可以跟ip\_hash指令一起使用。

### 2   默认的是RR轮询。 ###

### 3   ip\_hash ###

指定服务器组的负载均衡方法，请求基于客户端的IP地址在服务器间进行分发。 IPv4地址的前三个字节或者IPv6的整个地址，会被用来作为一个散列key。 这种方法可以确保从同一个客户端过来的请求，会被传给同一台服务器。除了当服务器被认为不可用的时候，这些客户端的请求会被传给其他服务器，而且很有可能也是同一台服务器。可以解决session和cookie的问题，但会导致负载不均衡。

### 4   keepalive ###

激活对上游服务器的连接进行缓存。connections参数设置每个worker进程与后端服务器保持连接的最大数量。这些保持的连接会被放入缓存。如果连接数大于这个值时，最久未使用的连接会被关闭。需要注意的是，keepalive指令不会限制Nginx进程与上游服务器的连接总数。 新的连接总会按需被创建。connections参数应该稍微设低一点，以便上游服务器也能处理额外新进来的连接。

1)  对于HTTP代理，proxy\_http\_version指令应该设置为“1.1”，同时“Connection”头的值也应被清空。

2)  另外一种选择是，HTTP/1.0协议的持久连接也可以通过发送“Connection: Keep-Alive”头来实现。不过不建议这样用。

3)  对于FastCGI的服务器，需要设置 fastcgi\_keep\_conn 指令来让连接keepalive工作。当使用的负载均衡方法不是默认的轮转法时，必须在keepalive 指令之前配置。

### 5   proxy\_connect\_timeout  ###

默认是60s,设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。

proxy\_read\_timeout默认60s,定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔，而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据，连接将被关闭。

### 6   proxy\_send\_timeout ###

默认60s, 定义向后端服务器传输请求的超时。此超时是指相邻两次写操作之间的最长时间间隔，而不是整个请求传输完成的最长时间。如果后端服务器在超时时间段内没有接收到任何数据，连接将被关闭。

### 7   proxy\_buffer\_size ###

设置缓冲区的大小为size。nginx从被代理的服务器读取响应时，使用该缓冲区保存响应的开始部分。这部分通常包含着一个小小的响应头。该缓冲区大小默认等于proxy\_buffers指令设置的一块缓冲区的大小，但它也可以被设置得更小。

8   proxy\_buffers为每个连接设置缓冲区的数量为number，每块缓冲区的大小为size。这些缓冲区用于保存从被代理的服务器读取的响应。每块缓冲区默认等于一个内存页的大小。这个值是4K还是8K，取决于平台。

### 9   proxy\_busy\_buffers\_size ###

当开启缓冲响应的功能以后，在没有读到全部响应的情况下，写缓冲到达一定大小时，nginx一定会向客户端发送响应，直到缓冲小于此值。这条指令用来设置此值。 同时，剩余的缓冲区可以用于接收响应，如果需要，一部分内容将缓冲到临时文件。该大小默认是proxy\_buffer\_size和proxy\_buffers指令设置单块缓冲大小的两倍。

### 10  proxy\_temp\_file\_write\_size ###

在开启缓冲后端服务器响应到临时文件的功能后，设置nginx每次写数据到临时文件的size(大小)限制。 size的默认值是proxy\_buffer\_size指令和proxy\_buffers指令定义的每块缓冲区大小的两倍， 而临时文件最大容量由proxy\_max\_temp\_file\_size指令设置。

## 2.2      后端服务器的配置    ##

<table style="color:rgb(51,51,51)"> 
 <tbody> 
 <tr> 
 <td> 位置 </td> 
 <td> 参数名 </td> 
 <td> 默认值 </td> 
 </tr> 
 <tr> 
 <td> Tomcat </td> 
 <td> Server.xml </td> 
 <td> Connector标签下的maxKeepAliveRequests </td> 
 <td> 100 </td> 
 </tr> 
 <tr> 
 <td> Nginx </td> 
 <td> Server模块 </td> 
 <td> keepalive_requests </td> 
 <td> 100 </td> 
 </tr> 
 </tbody> 
</table>

修改相应的值以适应Nginx Upstream的配置需求，如Nginx的keepalive\_requests配置为20000。而在Tomcat中的**maxKeepAliveRequests**官方建议最大值是200，请根据实际需求测试结果来配置**。**

<table style="color:rgb(51,51,51)"> 
 <tbody> 
 <tr> 
 <td> upstream backend-others { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; server 10.123.73.242:81 max_fails=0 fail_timeout=10s; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; server 10.123.73.244:81 max_fails=0 fail_timeout=10s; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; server 10.123.73.245:81 max_fails=0 fail_timeout=10s; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; server 10.123.73.246:81 max_fails=0 fail_timeout=10s; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; server 10.123.73.248:81 max_fails=0 fail_timeout=10s; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; server 10.123.73.249:81 max_fails=0 fail_timeout=10s; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; server 10.123.73.247:81 max_fails=0 fail_timeout=10s; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;keepalive&nbsp;20000; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; } &nbsp; location / { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #防止502以及Timeout的发生 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_connect_timeout 75; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_read_timeout 300; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_send_timeout 300; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_buffer_size 64k; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_buffers&nbsp;&nbsp; 4 64k; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_busy_buffers_size 128k; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_temp_file_write_size 128k; &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;proxy_http_version 1.1; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;proxy_set_header Connection ""; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; proxy_pass http://backend-others; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; } </td> 
 </tr> 
 </tbody> 
</table>

1   server定义服务器的地址address和其他参数parameters。 地址可以是域名或者IP地址，端口是可选的，或者是指定“unix:”前缀的UNIX域套接字的路径。如果没有指定端口，就使用80端口。 如果一个域名解析到多个IP，本质上是定义了多个server。还可以定义下面的参数：

1)  weight=number 设定服务器的权重，默认是1。

4)  Backup 标记为备用服务器。当主服务器不可用以后，请求会被传给这些服务器。

5)  Down 标记服务器永久不可用，可以跟ip\_hash指令一起使用。

2   默认的是RR轮询。

3   ip\_hash指定服务器组的负载均衡方法，请求基于客户端的IP地址在服务器间进行分发。 IPv4地址的前三个字节或者IPv6的整个地址，会被用来作为一个散列key。 这种方法可以确保从同一个客户端过来的请求，会被传给同一台服务器。除了当服务器被认为不可用的时候，这些客户端的请求会被传给其他服务器，而且很有可能也是同一台服务器。可以解决session和cookie的问题，但会导致负载不均衡。

4   keepalive激活对上游服务器的连接进行缓存。connections参数设置每个worker进程与后端服务器保持连接的最大数量。这些保持的连接会被放入缓存。如果连接数大于这个值时，最久未使用的连接会被关闭。需要注意的是，keepalive指令不会限制Nginx进程与上游服务器的连接总数。 新的连接总会按需被创建。connections参数应该稍微设低一点，以便上游服务器也能处理额外新进来的连接。

1)  对于HTTP代理，proxy\_http\_version指令应该设置为“1.1”，同时“Connection”头的值也应被清空。

2)  另外一种选择是，HTTP/1.0协议的持久连接也可以通过发送“Connection: Keep-Alive”头来实现。不过不建议这样用。

5   proxy\_connect\_timeout 默认是60s,设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。

6   proxy\_send\_timeout默认60s, 定义向后端服务器传输请求的超时。此超时是指相邻两次写操作之间的最长时间间隔，而不是整个请求传输完成的最长时间。如果后端服务器在超时时间段内没有接收到任何数据，连接将被关闭。

7   proxy\_buffer\_size设置缓冲区的大小为size。nginx从被代理的服务器读取响应时，使用该缓冲区保存响应的开始部分。这部分通常包含着一个小小的响应头。该缓冲区大小默认等于proxy\_buffers指令设置的一块缓冲区的大小，但它也可以被设置得更小。

9   proxy\_busy\_buffers\_size当开启缓冲响应的功能以后，在没有读到全部响应的情况下，写缓冲到达一定大小时，nginx一定会向客户端发送响应，直到缓冲小于此值。这条指令用来设置此值。 同时，剩余的缓冲区可以用于接收响应，如果需要，一部分内容将缓冲到临时文件。该大小默认是proxy\_buffer\_size和proxy\_buffers指令设置单块缓冲大小的两倍。

10  proxy\_temp\_file\_write\_size在开启缓冲后端服务器响应到临时文件的功能后，设置nginx每次写数据到临时文件的size(大小)限制。 size的默认值是proxy\_buffer\_size指令和proxy\_buffers指令定义的每块缓冲区大小的两倍， 而临时文件最大容量由proxy\_max\_temp\_file\_size指令设置。

[\[ 编辑本段 \]][Link 1]    \[ 回目录 \]2.2      后端服务器的配置

<table style="color:rgb(51,51,51)"> 
 <tbody> 
 <tr> 
 <td> 　 </td> 
 <td> 位置 </td> 
 <td> 参数名 </td> 
 <td> 默认值 </td> 
 </tr> 
 <tr> 
 <td> Tomcat </td> 
 <td> Server.xml </td> 
 <td> Connector标签下的maxKeepAliveRequests </td> 
 <td> 100 </td> 
 </tr> 
 <tr> 
 <td> Nginx </td> 
 <td> Server模块 </td> 
 <td> keepalive_requests </td> 
 <td> 100 </td> 
 </tr> 
 </tbody> 
</table>

[Link 1]: http://3ms.huawei.com/hi/index.php?app=group&mod=Wiki&act=post&gid=1503825&wiki_id=3007241&section_id=12