现象 #
周一早上告警:订单服务的出站连接数在三天里从 200 涨到了 4000。重启能好,但隔天又涨回来。下游服务那边一切正常,没有超时,也没有报错。
连接数只涨不降,通常说明有连接没被释放。先别急着看代码,看看这些连接停在什么状态。
先看连接状态 #
用 ss 按状态统计一下到下游 8080 端口的连接:
# 按状态统计到下游 8080 的连接
ss -tan 'dport = :8080' | awk '{print $1}' | sort | uniq -c
3871 CLOSE-WAIT
96 ESTAB将近 4000 个连接停在 CLOSE_WAIT,正常通信的只有 96 个。问题的方向一下子就清楚了。
为什么会卡在 CLOSE_WAIT #
TCP 关闭连接要走四次挥手。对端先发 FIN,我们的内核会自动回一个 ACK,然后连接进入 CLOSE_WAIT,等我们的应用自己调用 close()。只要应用不关,连接就一直停在这里。
记一笔: CLOSE_WAIT 堆积几乎都是本端没关连接;TIME_WAIT 堆积才和主动关闭方、端口复用有关。别把两者搞混。
定位到代码 #
既然是我们没关,就去找所有调用下游的地方。Go 的 HTTP 客户端有个容易忽略的约定:拿到响应后必须关闭 resp.Body,否则底层连接既不会回到连接池,也不会被关掉。
resp, err := client.Do(req)
if err != nil {
return err
}
if resp.StatusCode != http.StatusOK {
return fmt.Errorf("unexpected status %d", resp.StatusCode) // Body 没关就返回了
}
defer resp.Body.Close()问题就在第二个 return:下游返回非 200 时提前退出,defer 还没来得及注册。下游每次限流返回 429,就漏掉一个连接。
修复与验证 #
把 defer 挪到错误检查之后、状态码判断之前,确保任何返回路径都会关闭 Body:
resp, err := client.Do(req)
if err != nil {
return err
}
defer resp.Body.Close() // 拿到 resp 立刻注册
if resp.StatusCode != http.StatusOK {
io.Copy(io.Discard, resp.Body) // 读完剩余内容,连接才能复用
return fmt.Errorf("unexpected status %d", resp.StatusCode)
}上线后观察 48 小时,数据如下:
| 指标 | 修复前 | 修复后 |
|---|---|---|
| 到下游的连接总数 | 3967 | 118 |
| CLOSE_WAIT 连接 | 3871 | 0 |
| 连接池复用率 | 31% | 94% |
| p99 请求耗时 | 212 ms | 48 ms |
复用率上去之后,省掉了大量 TCP 握手,p99 耗时也跟着降了下来,这是意外收获。
复盘 #
- 看到连接数只涨不降,先用
ss看状态分布,比翻代码快得多。 defer resp.Body.Close()要紧跟在错误检查之后,中间不要夹任何return。- 给 CI 加上 bodyclose 这个 linter,同类问题以后在合并前就能发现。