记一次大量 TCP 连接失败
背景
在一段没有日志的历史遗留代码上面加入监控部署后不久，就收到了服务调用成功率低的告警，真是哗了狗了
解决过程
client端在线上单机部署，根据监控上面的返回码比例看出失败原因都是链接失败，通过 tcpdump 在 server 端和 client 端抓包没有发现拒绝的链接请求，另外有另外一台机器同样访问着 server 端的服务，排除丢包（这个可能也可以通过ping命令排除），server端高负载可能，所以可以推断是 client 端的问题。
看到 client 端定时任务起来后 CPU 满了，可惜只是个现象，还是看不出到底是机器性能问题还是啥问题
原来的代码没打日志，不能直接查到系统错误码，正在执行任务也不能直接改代码重新部署，改用 telnet 尝试发起 TCP 连接，遂链接失败
还是没有系统错误码，不过这样就好定位了，通过自己写的 python 工具发起连接试试，
google之，找到 http://www.51testing.com/html/21/66821-147278.html ， http://huoding.com/2013/12/31/316 ，这是个大量 TCP 短连接的调用，基本符合上面说到的情况，根据前辈的建议，开启了 tcp_timestamps 和 tcp_tw_reuse。一段时间后，就看到 CPU 降下去，成功率上来了~撒花~
正文到此结束
热门推荐
相关文章
近期评论
-
文章和留言都翻到11页了 没有OOM
-
-
朋友，翻页到11页，及以后，会出现OOM，无法访问
-
-
搞个gitee的项目
-
-
版本号是多少，你可以下载哪个代码仓库，jdk选1.8 直接跑就行
-
-
-
Loading...
![[HBLOG]公众号](https://www.liuhaihua.cn/img/qrcode_gzh.jpg)
