
排查顺序要快且有条理。首先从外部确认是否为全网不可达:使用本地和第三方在线工具(如ping、traceroute、在线端口扫描)检测IP连通性;其次验证DNS和域名解析是否正常;接着检查云控制台的实例状态、弹性IP绑定、网络ACL和安全组规则;还要排查BGP路由、运营商中间链路以及是否存在IP被封禁或黑名单。整个流程应有标准化的Runbook,便于运维按步骤执行。
监控应覆盖多层面:网络层(ICMP/端口监控、traceroute 路径变化)、应用层(HTTP/HTTPS 可用性、响应时间)、云平台层(实例状态、弹性IP绑定状态、带宽和流量异常)。告警策略要区分短暂波动与真实故障:设置多点语义的探测(至少3个不同探测点),使用“连续失败+阈值”触发告警,并通过多通道(短信、邮件、钉钉/企业微信)通知相关值班人员。同时将告警与事件管理系统集成,自动创建工单并附带诊断信息。
针对区域链路和BGP,建议部署多来源探测(国内+香港+第三方国际出口),并启用路由质量监测(如AS路径变化、丢包和延迟突增报警)。对于关键服务,采用跨可用区或跨地域的主动监控和流量切换策略,结合自定义脚本在检测到BGP异常或路由黑洞时自动触发流量切换或DNS加权调整。记录并可视化路由变化历史,便于后续追踪与定位。
自动化策略包括:1) 自动化恢复:当检测到弹性IP解绑或实例异常时,自动重建实例或重新绑定弹性IP并回滚流量;2) 灾备切换:配置浮动IP、域名权重或NAT网关做流量切换到备用节点;3) 健康探针与流量转换:结合负载均衡做主动探测并剔除不健康后端。定期同步镜像与配置,保持备用站点可随时接管。所有自动化动作需伴随严格的权限控制与变更审计,防止误触发。
建立完整的演练与复盘机制:定期进行故障演练(包括IP不可达、BGP劫持、区域断链),记录RTO/RPO并评估恢复流程;利用集中化日志(Syslog、云审计、网络流日志)和APM数据做事后分析,找出薄弱环节;按照SLA定义关键指标(可用率、平均恢复时间MTTR、告警准确率)并制定改进计划。把Runbook、演练记录和自动化脚本纳入版本管理,形成可复用的知识库。