HttpClient当HTTP连接的时候出现大量CLOSE_WAIT连接

朱雀 2021-09-15 13:24 667阅读 0赞

> ESTABLISHED 表示正在进行网络连接的数量  
> TIME\_WAIT 表示表示等待系统主动关闭网络连接的数量  
> CLOSE\_WAIT 表示被动等待程序关闭的网络连接数量

上篇文章给出了解决TIME\_WAIT太多的方法，本篇文章以HttpClient为例说明解决大量CLOSE\_WAIT状态的方法。

![70][]

HttpClient是大量使用的用于HTTP连接的包，首先需要说明的是HttpClient 3.x和4.x之间API差距很多，不过强烈建议使用4.x的版本。除此之外，4.x中每个x之间也有一些差别（比如一些弃用的类，新增加的类等），这里以4.2.3版本进行说明。

HttpClient使用的HTTP 1.1协议进行连接，相对于HTTP 1.0来说有一个持续连接的增强，为了充分利用持续连接的特性，在一次连接结束之后，即使将HttpResponse使用close方法关闭，并且将调用了HttpGet或HttpPost的releaseConnection方法，示例代码如下：

1.   HttpGet method = null;
2.   HttpResponse response = null;
3.   try \{ 
4.       method = new HttpGet(url);
5.       response = client.execute(method);
6.   \} catch(Exception e) \{ 
7.      
8.   \} finally \{ 
9.       if(response != null) \{ 
10.          EntityUtils.consumeQuietly(response.getEntity());
11.      \}
12.      if(method != null) \{ 
13.          method.releaseConnection();
14.      \}
15.  \}

这个时候仍然发现连接处于CLOSE\_WAIT状态，这是因为HttpClient在执行close的时候，如果发现Response的Header中Connection是Keep-alive则连接不会关闭，以便下次请求相同网站的时候进行复用，这是产生CLOSE\_WAIT连接的原因所在。

最简单的一种解决方法在execute方法之前增加Connection: close头信息，HTTP协议关于这个属性的定义如下：

HTTP/1.1 defines the "close" connection option for the sender to signal that the connection will be closed after completion of the response. For example：
    	Connection: close

示例代码如下：

1.   HttpGet method = null;
2.   HttpResponse response = null;
3.   try \{ 
4.       method = new HttpGet(url);
5.       method.setHeader(HttpHeaders.CONNECTION, "close");
6.       response = client.execute(method);
7.   \} catch(Exception e) \{ 
8.      
9.   \} finally \{ 
10.      if(response != null) \{ 
11.          EntityUtils.consumeQuietly(response.getEntity());
12.      \}
13.      if(method != null) \{ 
14.          method.releaseConnection();
15.      \}
16.  \}

当然，也有人建议每次请求之后关闭client，但这一点不符合HttpClient设计的原则——复用。如果每次连接完成之后就关闭连接，效率太低了。因此，需要使用PoolingClientConnectionManager，并且设置maxTotal（整个连接池里面最大连接数，默认为20）和defaultMaxPerRoute（每个主机的最大连接数，默认为2），另外client还有一个ClientPNames.CONN\_MANAGER\_TIMEOUT参数，用来设置当连接不够获取新连接等待的超时时间，默认和CoreConnectionPNames.CONNECTION\_TIMEOUT相同。可以根据实际情况对PoolingClientConnectionManager进行设置，以达到效率最优。

还有一种情况也会造成大量CLOSE\_WAIT连接，即HttpResponse的状态码不是200的时候，需要及时调用method.abort()方法对连接进行释放，详细可以参考[这篇文章][Link 1]。

参考资料：  
[使用httpclient必须知道的参数设置及代码写法、存在的风险][httpclient]  
[解决:HttpClient导致应用出现过多Close\_Wait的问题][HttpClient_Close_Wait]  
[Using HttpClient Properly to Avoid CLOSE\_WAIT TCP Connections][Using HttpClient Properly to Avoid CLOSE_WAIT TCP Connections]  
[close\_wait troubleshooting][close_wait troubleshooting]  
[Using HttpClient properly to avoid CLOSE\_WAIT TCP connections][Using HttpClient properly to avoid CLOSE_WAIT TCP connections]  
[HttpClient连接池抛出大量ConnectionPoolTimeoutException: Timeout waiting for connection异常排查][Link 1]  
[httpclient4.2.1 连接池][httpclient4.2.1]  
[爬虫简单示例，用httpClient4.2.1实现（转载）][httpClient4.2.1]

[70]: /images/20210527/b195a38ee9c7434f9bb5873bfb7582ad.png
[Link 1]: http://blog.csdn.net/shootyou/article/details/6615051
[httpclient]: http://jinnianshilongnian.iteye.com/blog/2089792
[HttpClient_Close_Wait]: http://www.cnblogs.com/jessezeng/p/5616518.html
[Using HttpClient Properly to Avoid CLOSE_WAIT TCP Connections]: https://doc.nuxeo.com/blog/using-httpclient-properly-avoid-closewait-tcp-connections/
[close_wait troubleshooting]: http://zim.logdown.com/posts/636222
[Using HttpClient properly to avoid CLOSE_WAIT TCP connections]: http://www.cnblogs.com/javawebsoa/p/3223818.html
[httpclient4.2.1]: https://my.oschina.net/greki/blog/83350
[httpClient4.2.1]: http://www.cnblogs.com/chenying99/archive/2012/10/24/2737924.html