add linux troubleshoot

linux/01 netstat-TCP-UDP状态统计.md

@@ -0,0 +1,305 @@
+---
+title: netstat 统计 TCP/UDP 连接状态
+date: 2026-09-14
+tags:
+- linux
+categories:
+- linux
+---
+
+## 1. 经典命令解析
+
+```bash
+netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a,S[a]}'
+```
+
+**作用：统计当前所有 TCP 连接按状态分组的数目**（不是只查 TIME_WAIT，TIME_WAIT 只是输出中可能出现的一种状态）。
+
+实际输出示例：
+
+```
+ESTABLISHED 4
+TIME_WAIT 2
+```
+
+### 逐段解析
+
+| 部分 | 作用 |
+|---|---|
+| `netstat -n` | 列出所有连接，`-n` 用数字 IP/端口，不做 DNS 反解（更快） |
+| `/^tcp/` | 只匹配以 `tcp` 开头的行（即 TCP 连接） |
+| `++S[$NF]` | 用每行**最后一列**（连接状态 State）作为 key 计数 |
+| `END {for(a in S) print a,S[a]}` | 遍历数组，打印每种状态及数量 |
+
+## 2. 常见 TCP 状态含义
+
+| 状态 | 含义 | 异常信号 |
+|---|---|---|
+| `ESTABLISHED` | 已建立的正常连接 | — |
+| `TIME_WAIT` | 主动关闭方等待 2MSL | 大量出现（成千上万）说明短连接过多，考虑 keep-alive / 连接池 |
+| `CLOSE_WAIT` | 对方已关闭、本端还没 close | 大量堆积通常是**程序 bug**（socket 没正确关闭） |
+| `LISTEN` | 监听中的服务端口 | — |
+| `SYN_SENT` / `SYN_RECV` | 握手进行中 | 异常增多可能是网络问题或 SYN 攻击 |
+
+## 3. 只看 TIME_WAIT 的写法
+
+```bash
+# netstat 精确过滤
+netstat -n | awk '/^tcp/ && $NF=="TIME_WAIT" {n++} END {print n+0}'
+
+# 或用 ss（推荐，速度快很多）
+ss -ant state time-wait | wc -l
+
+# ss 自带汇总
+ss -s
+```
+
+## 4. 深入：Recv-Q / Send-Q 队列详解
+
+`ss -ant` / `netstat -ant` 输出的第 2、3 列 Recv-Q 和 Send-Q 是排查「连接被拒绝」「请求超时」「应用处理慢」类问题的第一手指标。
+
+### 4.1 Recv-Q 到底是什么
+
+Recv-Q 的含义取决于 socket 所处的状态，两种场景完全不同：
+
+| socket 状态 | Recv-Q 含义 | Send-Q 含义 |
+|---|---|---|
+| **LISTEN**（监听中） | 已完成三次握手、**等待应用 accept()** 的连接数（全连接队列当前长度） | 全连接队列的最大容量（backlog） |
+| **ESTABLISHED**（已建立） | 内核已收到、但应用**还没 read()** 的数据字节数 | 已发送但尚未被对端 ACK 的字节数 |
+
+> ⚠️ 老内核（2.x 及更早的一些版本）中 LISTEN 行的 Send-Q 列显示为 0，新内核（3.10+ 配合新版 iproute2）显示的是 backlog 上限。现代发行版直接看 `ss -lnt` 即可。
+
+### 4.2 查看方式一：ss 命令（推荐）
+
+`ss`（socket statistics）来自 iproute2 包，直接读内核 netlink，比 netstat 快几个数量级，是现在的标准工具。
+
+```bash
+# 查看所有 TCP 连接的 Recv-Q / Send-Q
+ss -ant
+
+# 只看监听端口（Recv-Q = 等待 accept 的连接数，Send-Q = backlog 上限）
+ss -lnt
+
+# 只看已建立的连接
+ss -ant state established
+
+# 按状态过滤 + 带进程信息（哪个进程积压了数据）
+ss -antp state established
+
+# 只过滤某个端口
+ss -antp 'sport = :80'
+```
+
+实际输出示例：
+
+```
+State    Recv-Q  Send-Q   Local Address:Port   Peer Address:Port
+LISTEN   0       4096     127.0.0.54:53        0.0.0.0:*
+LISTEN   0       2048     127.0.0.1:8088       0.0.0.0:*
+LISTEN   0       511      0.0.0.0:80           0.0.0.0:*
+LISTEN   0       4096     0.0.0.0:22           0.0.0.0:*
+ESTAB    1024    0        10.0.0.1:80          10.0.0.2:52314
+```
+
+解读：
+
+- `:80` 是 LISTEN 行：Send-Q `511` 是 backlog 上限（nginx 默认 511），Recv-Q `0` 说明 accept 队列没有积压。
+- 最后一行 ESTAB：Recv-Q `1024` 表示有 1024 字节数据躺在内核缓冲区里，应用还没读。
+
+进阶参数：
+
+```bash
+# -m 显示 socket 内存使用（rb=接收缓冲区上限，r=实际占用）
+ss -lntm
+
+# -i 显示 TCP 内部信息（拥塞窗口、RTT、重传等）
+ss -anti state established
+
+# -o 显示定时器信息（keepalive/retrans）
+ss -anto
+```
+
+`ss -ltnm` 输出示例：
+
+```
+LISTEN 0 4096 127.0.0.54:53 0.0.0.0:*
+     skmem:(r0,rb131072,t0,tb16384,f0,w0,o0,bl0,d0)
+```
+
+其中 `r0` = 接收队列当前字节数，`rb131072` = 接收缓冲区上限 128KB。
+
+### 4.3 查看方式二：netstat（老命令）
+
+```bash
+netstat -ant     # 所有 TCP
+netstat -lnt     # 只监听
+netstat -antp    # 带进程（需要 root）
+```
+
+输出列含义与 ss 一致。注意：netstat 逐条遍历 `/proc/net/tcp` 并做解析，大连接数机器上非常慢，线上优先用 `ss`。
+
+### 4.4 查看方式三：直接读 /proc/net 目录
+
+内核把 socket 信息暴露在 procfs 下，不依赖额外工具，适合容器/精简环境或写脚本：
+
+```bash
+cat /proc/net/tcp      # TCP IPv4
+cat /proc/net/tcp6     # TCP IPv6
+cat /proc/net/udp      # UDP
+cat /proc/net/unix     # Unix socket
+```
+
+字段格式：
+
+```
+  sl  local_address rem_address   st tx_queue:rx_queue tr tm->when retrnsmt   uid  timeout inode
+   0: 3600007F:0035 00000000:0000 0A 00000000:00000000 00:00000000 00000000   992        0 731603 1 ...
+```
+
+关键列：
+
+| 列 | 含义 |
+|---|---|
+| `local_address` | 本地地址，格式 `十六进制IP:十六进制端口`，IP 是**小端序** |
+| `rem_address` | 对端地址，同上 |
+| `st` | socket 状态，`0A` = LISTEN，`01` = ESTABLISHED |
+| `tx_queue:rx_queue` | **发送队列:接收队列，均为十六进制字节数** —— 这里的 `rx_queue` 就是 Recv-Q |
+
+手工解码示例：`3600007F:0035`
+
+- IP `3600007F` 小端 → 字节序 `7F 00 00 36` → `127.0.0.54`
+- 端口 `0035` → 十进制 53
+
+用 awk 快速筛出 rx_queue 非 0 的连接：
+
+```bash
+awk 'NR>1 {split($5,q,":"); if (strtonum("0x" q[2]) > 0) print $2, $3, $4, strtonum("0x" q[2])}' /proc/net/tcp
+```
+
+> 由 inode 反查进程：`ls -l /proc/<pid>/fd` 中 `socket:[731603]` 的编号对应 inode 列。
+
+### 4.5 典型排查场景
+
+**场景一：LISTEN 的 Recv-Q 持续打满 Send-Q（backlog）**
+
+现象：`ss -lnt` 看到 `Recv-Q ≈ Send-Q`，客户端报 connection refused / timeout。
+
+原因：应用 accept() 速度跟不上握手完成速度，全连接队列溢出，内核开始丢新连接。
+
+确认丢包计数：
+
+```bash
+nstat -az | grep -iE 'listenoverflow|listendrop'
+# ListenOverflows   ← 半连接/全连接队列溢出次数
+# ListenDrops       ← 因队列满被丢弃的连接数
+```
+
+处理方向：
+
+1. 调大应用 backlog（如 nginx `listen 80 backlog=8192;`、Java 的 `backlog` 参数）；
+2. 调大内核上限：`net.core.somaxconn`（默认常见 128/4096）、`net.ipv4.tcp_max_syn_backlog`（半连接队列）；
+3. 治本：提升应用 accept 能力（多 worker、SO_REUSEPORT）。
+
+```bash
+sysctl -w net.core.somaxconn=4096
+sysctl -w net.ipv4.tcp_max_syn_backlog=4096
+```
+
+**场景二：ESTABLISHED 的 Recv-Q 持续增长**
+
+现象：某些 ESTAB 连接的 Recv-Q 越来越大且不回落。
+
+含义：对端一直在发，本端应用读得太慢或不读（业务卡死、GC、线程池打满）。
+
+定位：
+
+```bash
+# 找到是哪个进程
+ss -antp state established | awk 'NR==1 || $2 > 0'
+
+# 持续观察，5 秒采样一次
+watch -n5 "ss -antp | awk 'NR==1 || \$2 > 0'"
+```
+
+处理方向：查该进程的 CPU/线程/GC 状态，确认消费逻辑是否阻塞。
+
+**场景三：UDP 的 Recv-Q**
+
+UDP 没有连接，`ss -anu` / `cat /proc/net/udp` 里的 rx_queue 表示**已收到但未被应用读取的报文字节数**。UDP 接收缓冲区满后报文被**静默丢弃**，可配合计数器确认：
+
+```bash
+nstat -az | grep -iE 'udprcvbuferrors|udpinerrors'
+```
+
+### 4.6 持续监控写法
+
+```bash
+# 每 2 秒刷新所有队列非空的连接
+watch -n2 'ss -ant | awk "NR==1 || \$2>0 || \$3>0"'
+
+# 只盯 80 端口 accept 队列
+watch -n1 "ss -lnt 'sport = :80'"
+```
+
+采集进监控体系的话，Prometheus node_exporter 的 `node_netstat` / 自定义 textfile 脚本解析 `ss -ant` 输出即可。
+
+### 4.7 速查表
+
+| 需求 | 命令 |
+|---|---|
+| 看所有连接队列 | `ss -ant` |
+| 看 accept 队列积压 | `ss -lnt`（Recv-Q vs Send-Q） |
+| 找积压数据的进程 | `ss -antp` |
+| 看 socket 内存占用 | `ss -lntm` / `ss -tm` |
+| 裸文件方式 | `cat /proc/net/tcp`（第 5 列 `tx_queue:rx_queue`，hex） |
+| accept 队列丢包计数 | `nstat -az \| grep -i listen` |
+| 调大 accept 队列 | `net.core.somaxconn` + 应用 backlog 参数 |
+| 持续观察 | `watch -n2 'ss -ant'` |
+
+## 5. UDP 为什么不能照搬这个命令
+
+关键区别：**UDP 是无连接的，没有 TIME_WAIT 这类状态**。
+
+- `netstat -anu` 输出中 UDP 行的 **State 列是空的**
+- 若还按 `$NF` 分组，统计到的是倒数第一列 `0.0.0.0:*`（Foreign Address），毫无意义
+- 另外 `netstat -n` 不加 `-a` 时，大部分 UDP socket（未 connect 的）根本不显示
+
+UDP 行长这样（State 列为空）：
+
+```
+udp   0   0 127.0.0.54:53    0.0.0.0:*
+```
+
+## 6. UDP 的正确排查姿势
+
+```bash
+# 1. 看所有 UDP socket（必须加 -a，否则大部分不显示）
+netstat -anu
+
+# 2. 按本地端口统计，看哪些服务开着 UDP
+netstat -anu | awk '/^udp/ {split($4,a,":"); ++S[a[length(a)]]} END {for(p in S) print p, S[p]}'
+
+# 3. 用 ss 看状态计数（UDP 只有 UNCONN / ESTAB 两种）
+ss -uan | awk 'NR>1 {++S[$1]} END {for(a in S) print a, S[a]}'
+
+# 4. UDP 整体健康度：丢包/错误统计（UDP 排查最该看的）
+netstat -su
+```
+
+`ss` 里 UDP 的两种状态：
+
+- `UNCONN`：未调用 `connect()` 的 socket，约等于"监听/空闲"
+- `ESTAB`：调用过 `connect()` 的 UDP socket
+
+## 7. TCP vs UDP 排查对照表
+
+| TCP 里看什么 | UDP 里对应看什么 |
+|---|---|
+| TIME_WAIT 堆积 | 没有这个概念 |
+| CLOSE_WAIT 泄漏 | socket 数量是否只增不减（句柄泄漏） |
+| 连接异常 | `netstat -su` 里的 `packet receive errors`、`RcvbufErrors`、丢包计数 |
+| 连接数 | Recv-Q 列（netstat 第 2 列）是否长期非 0，说明应用消费不过来、缓冲区积压 |
+
+## 8. 一句话总结
+
+> TCP 按状态统计用 `$NF` 没问题；搬到 UDP 上时，把思路换成 **按端口统计 + 看 Recv-Q 积压 + `netstat -su` 看丢包**。Recv-Q 积压的通用规律：**LISTEN 满 = accept 不过来，ESTAB 涨 = read 不过来**。