首页归档

一次 TCP 连接卡在 CLOSE_WAIT 的排查记录

本文目录
  1. 现象
  2. 先看连接状态
  3. 为什么会卡在 CLOSE_WAIT
  4. 定位到代码
  5. 修复与验证
  6. 复盘

现象 #

周一早上告警:订单服务的出站连接数在三天里从 200 涨到了 4000。重启能好,但隔天又涨回来。下游服务那边一切正常,没有超时,也没有报错。

连接数只涨不降,通常说明有连接没被释放。先别急着看代码,看看这些连接停在什么状态。

先看连接状态 #

用 ss 按状态统计一下到下游 8080 端口的连接:

# 按状态统计到下游 8080 的连接
ss -tan 'dport = :8080' | awk '{print $1}' | sort | uniq -c
   3871 CLOSE-WAIT
     96 ESTAB
shell

将近 4000 个连接停在 CLOSE_WAIT,正常通信的只有 96 个。问题的方向一下子就清楚了。

为什么会卡在 CLOSE_WAIT #

TCP 关闭连接要走四次挥手。对端先发 FIN,我们的内核会自动回一个 ACK,然后连接进入 CLOSE_WAIT,等我们的应用自己调用 close()。只要应用不关,连接就一直停在这里。

TCP 被动关闭的时序 下游服务先发送 FIN,订单服务的内核回复 ACK 后进入 CLOSE_WAIT,因为应用没有调用 close,第二个 FIN 一直没有发出。 订单服务(我们)下游服务 ESTABLISHEDESTABLISHEDFIN_WAIT_1FIN_WAIT_2 FIN ACK(内核自动回复) CLOSE_WAIT 等应用调用 close() 应用一直没调用,就一直停在这里 FIN(一直没发出去)
被动关闭的一方,只有应用调用 close() 后才会发出第二个 FIN。

记一笔: CLOSE_WAIT 堆积几乎都是本端没关连接;TIME_WAIT 堆积才和主动关闭方、端口复用有关。别把两者搞混。

定位到代码 #

既然是我们没关,就去找所有调用下游的地方。Go 的 HTTP 客户端有个容易忽略的约定:拿到响应后必须关闭 resp.Body,否则底层连接既不会回到连接池,也不会被关掉。

resp, err := client.Do(req)
if err != nil {
    return err
}
if resp.StatusCode != http.StatusOK {
    return fmt.Errorf("unexpected status %d", resp.StatusCode) // Body 没关就返回了
}
defer resp.Body.Close()
go

问题就在第二个 return:下游返回非 200 时提前退出,defer 还没来得及注册。下游每次限流返回 429,就漏掉一个连接。

修复与验证 #

把 defer 挪到错误检查之后、状态码判断之前,确保任何返回路径都会关闭 Body:

resp, err := client.Do(req)
if err != nil {
    return err
}
defer resp.Body.Close() // 拿到 resp 立刻注册
if resp.StatusCode != http.StatusOK {
    io.Copy(io.Discard, resp.Body) // 读完剩余内容,连接才能复用
    return fmt.Errorf("unexpected status %d", resp.StatusCode)
}
go

上线后观察 48 小时,数据如下:

指标 修复前 修复后
到下游的连接总数 3967 118
CLOSE_WAIT 连接 3871 0
连接池复用率 31% 94%
p99 请求耗时 212 ms 48 ms

复用率上去之后,省掉了大量 TCP 握手,p99 耗时也跟着降了下来,这是意外收获。

复盘 #

  • 看到连接数只涨不降,先用 ss 看状态分布,比翻代码快得多。
  • defer resp.Body.Close() 要紧跟在错误检查之后,中间不要夹任何 return。
  • 给 CI 加上 bodyclose 这个 linter,同类问题以后在合并前就能发现。

搜索文章

Esc
↑ ↓ 选择Enter 打开