1. 测试前准备与目标定义
- 明确目标:是测最大吞吐(saturation)、延迟敏感性还是并发连接能力。
- 确定测试双方:测试端在
香港CN2出口或近端机房(A),对端在内地或海外(B)。预留公网IP、开放 TCP/UDP 端口(如5201)。
2. 环境与工具清单
- 建议工具:iperf3、mtr/traceroute、ping、hping3、tcpreplay、tcpdump/wireshark、SNMP 工具(snmpwalk)、ifstat。
- 系统准备:关闭防火墙或放行测试端口;禁止中间设备做 DPI 或流量限制;确保两端服务器 NIC 驱动、offload 正确。
3. 基线检测:链路健康与路由确认
- 先用 traceroute -n / mtr 确认经过的 CN2 节点和跳数:mtr -rwzbc100 目的IP。
- 用 ping -c 20 目的IP 测量丢包与抖动,记录平均 RTT 和丢包率。
4. 单连接吞吐测试(TCP)
- 在服务端(A)启动:iperf3 -s -p 5201。
- 客户端(B)运行:iperf3 -c A_IP -p 5201 -t 60 -i 10,观察单连接最大带宽。若单连接不能饱和,可能受 TCP 缓冲、窗口或路径特性限制。
5. 多并发连接压测(并发流)
- 使用 -P 参数增加并发流:iperf3 -c A_IP -P 16 -t 120。逐步增加 P(如1,4,8,16,32)记录总吞吐与每流速率。
- 若并发能提升总速率说明单流受限,若并发也达不到承诺带宽则说明链路或设备限速。
6. UDP 压测与抖动/丢包测量
- UDP 测试:iperf3 -c A_IP -u -b 1G -t 60,指定带宽逐步逼近链路。
- 观察丢包、抖动信息(iperf3 输出),结合 mtr 跟踪丢包跳点,定位丢包发生位置。
7. 长时稳定性与突发测试
- 做长时(数小时)稳定性测试:iperf3 长时间运行并每10分钟采样带宽曲线。
- 做突发(burst)测试模拟真实业务突发:用 tcpreplay 或自建脚本在短时间内发送高峰流量,观察队列/丢包。
8. 捕获包与分析
- 在边界路由器或服务器用 tcpdump 捕包:tcpdump -i eth0 host 对端IP and port 5201 -w capture.pcap。
- 用 Wireshark 分析 TCP 三次握手、重传、零窗口、SACK 情况,判断是否存在链路重传或 MTU 问题(DF 标志、分片)。
9. MTU 与 Path MTU 问题排查
- 测试 Path MTU:使用 ping -M do -s N 目的IP 逐步降低 N 找到最大不分片大小。
- 若发现 MSS/MTU 限制导致分片或性能下降,调整设备 MTU 或启用 MSS clamping(如路由器、负载均衡器)。
10. 设备与队列策略检查
- 检查路由器/交换机端口速率与队列策略(QoS、Shaping、Policing)。在设备上用 show interface、tc qdisc show(Linux)查看。
- 若存在 policing 导致包被丢弃,应调整规则或联系上游运营商修改策略。
11. 逐跳定位瓶颈方法
- 步骤:① 在源端与下一跳做局部流量测试;② 逐跳向上游或下游移动测试点;③ 每跳对比带宽/丢包变化点即为可能瓶颈。
- 使用 SNMP 轮询接口流量(ifInOctets/ifOutOctets)确认端口是否饱和。
12. 路由与 BGP 相关检查
- 检查是否走 CN2 线路:查看 BGP 路由表(bgp routes)或使用 looking glass。确认是否存在备份路径、策略限速或社区影响。
- 如发现路由劣化或绕路,联系上游 ISP 调整 BGP 策略或优化邻居选择。
13. CPU、内核与网卡限制排查
- 监控服务器 CPU、软中断、网卡队列使用:top、sar、mpstat、ethtool -S。
- 若 CPU 或软中断成为瓶颈,开启 RSS、增加队列、使用更高性能 NIC 或卸载功能(TCP offload)并测试差异。
14. 结果记录与自动化脚本建议
- 建议保存每次测试的原始 iperf 输出、tcpdump pcap、mtr 报表,汇总成 CSV。
- 可以写脚本循环测试不同并发、端口、协议并上传结果到 Grafana/InfluxDB 做可视化对比。
15. 常见问题与对应处置
- 单连接速率低但多连接高:调整 TCP window / enable window scaling;检查延迟与丢包。
- 丢包在某跳出现:联系该跳对应的运营商/机房排查链路或设备策略。
16. 实战小结与沟通建议
- 压测时务必提前与 CDN/运营商沟通防止被误判为攻击,并预约维护窗口。
- 所有定位证据(mtr、pcap、SNMP)发给对端一起分析,协同排查效率最高。
问1:如何快速判断瓶颈在本端还是上游运营商?
答1:先在本端做本地回环与同机房内网压测(iperf3 本地对本机或同机房),若本地可饱和则问题在链路/上游;再逐跳 mtr 与在各跳点做局部流量测试,流量骤降或丢包首次出现的跳点通常指向上游。
问2:CN2 路由特性会影响压测结果吗?
答2:会。CN2 路径可能走专线或有差异化调度,BGP 策略、带宽池、流量工程会影响延迟与带宽峰值。压测前确认实际出口是否走 CN2,并在不同时间段重复测试以排除调度影响。
问3:如果发现链路丢包,是联系谁优先处理?
答3:先收集证据(mtr、pcap、SNMP、端口速率)并定位出现丢包的跳点,然后联系该跳点所属运营商或机房,同时将证据发给你自己的上游运营商(带有跳点信息)以便协同排查和恢复。
来源:香港cn2 带宽 压测方法与瓶颈定位实践步骤详解