上传文件程序会有一定的概率提示错误,错误率大概在1%以下,错误信息是: org.apache.http.NoHttpResponseException , s3-us-west-1.amazonaws.com:80 failed to respond
,看着是上传到S3的过程中发送了网络错误?
通过查阅资料,发现了一篇比较好的文章: 一次NoHttpResponseException问题分析解决 。这个文章的观点是会发生这个错误的原因是服务端关闭了连接,而客户端还在使用该连接,导致服务端响应RST报文,客户端收到RST报NoHttpResponseException异常。
为了说明这个场景,就要提一下Keepalive机制。Keepalive是HTTP的连接复用机制,在HTTP1.0时代,每个请求经过三次握手后,只会传输一次HTTP请求和响应报文后,就进入四次挥手关闭连接了。而TCP建立连接和关闭连接的代价是比较大的,导致HTTP1.0的通道利用率较低,时延较高。针对这个问题,退出了Keepalive机制,一个TCP连接建立后,可以在上面发送多个HTTP报文,只有这个TCP连接的空闲时间达到超时时间,才会被关闭。HTTP1.1默认开启Keepalive。这里的关闭行为可能发生在客户端和服务端,比如客户端的Keepalive超时时间更短,则客户端就会先关闭连接,如果服务端配置的Keepalive超时时间更短,则服务端就会先关闭连接。
乍看起来无论那一边关闭连接都没什么问题,但是还是有细节需要注意。比如服务端关闭连接,发送FIN包,在这个FIN包发送但是还未到达客户端期间,客户端如果继续复用这个TCP连接,发送HTTP请求报文的话,服务端会因为在四次挥手期间不接收报文而发送RST报文给客户端,客户端收到RST报文就会提示异常。
根据上面的理论知识,可以推测 org.apache.http.NoHttpResponseException , s3-us-west-1.amazonaws.com:80 failed to respond
这个错误发生的原因是因为我的程序的HttpClient的Keepalive时间大于S3服务器的,导致S3服务端关闭连接时,可能发生异常。我们做个试验看看。
首先写一个简单程序观察一下AWS S3服务端的Keepalive时间
String url = "一个可以访问的S3下载地址"; CloseableHttpClient httpClient = HttpClients.createDefault(); HttpGet request = new HttpGet(url); httpClient.execute(request, response -> { String content = EntityUtils.toString(response.getEntity()); System.out.println(content); return content; }); Thread.sleep(99999);
Wireshark抓包观察HTTP响应报文后,经过多久进入四次挥手:
可以看出服务端发送FIN包距离上一个请求的时间大概是23秒,也就是AWS S3服务端的Keepalive时间大致为23秒。
接着我们模拟客户端在服务端关闭连接的同时发送请求的场景,看看能否复现NoHttpResponseException错误:
String url = "http://s3-us-west-1.amazonaws.com/sdpcs-prod-awsca/88ea9001-bad0-4b46-86e5-e6bc518c9fdc?Expires=1718171230&response-content-type=image/jpeg&response-cache-control=max-age%3D157680000&AWSAccessKeyId=AKIAI7P7PYLVYWVVYTLQ&Signature=iCeE6%2FIHtxmOarOc3Q1hUowWqDc%3D"; CloseableHttpClient httpClient = HttpClients.createDefault(); HttpGet request = new HttpGet(url); for (int i = 0; i < 100000; i++) { httpClient.execute(request, response -> { String content = EntityUtils.toString(response.getEntity()); System.out.println(content); return content; }); Thread.sleep(23000); }
多执行几次,就能复现出NoHttpResponseException错误:
六月 14, 2019 2:09:14 下午 org.apache.http.impl.execchain.RetryExec execute 信息: I/O exception (org.apache.http.NoHttpResponseException) caught when processing request to {}->http://s3-us-west-1.amazonaws.com:80: The target server failed to respond 六月 14, 2019 2:09:14 下午 org.apache.http.impl.execchain.RetryExec execute 信息: Retrying request to {}->http://s3-us-west-1.amazonaws.com:80
分析抓包:
可以看到2400号请求距离上一个请求23秒,然后在服务端还未收到2400号请求时,客户端就收到了服务端发来的FIN请求,进入了四次挥手流程。然后当服务端收到2400号请求后,响应RST请求,导致客户端提示错误。
HttpClient提供了关闭空闲连接的功能:
CloseableHttpClient httpClient = HttpClients.custom() .evictIdleConnections(5, TimeUnit.SECONDS) .build();
我们设置一个低于S3 Keepalive的时间再次执行,就不会出现NoHttpResponseException错误了。
除了在客户端设置小于服务端的Keepalive时间,还有一种做法是在出现NoHttpResponseException时进行重试,也是可以的,还可以减少TIME_WAIT数量。