台湾cn2线路服务器日常监控指标和报警设置实用手册

1. 监控目标与架构概览

1. 目标：覆盖链路（CN2到台湾ISP）、服务器（CPU/内存/磁盘/网络）、业务（端口/进程/响应时间）和路由（BGP邻居、AS路径）。小分段：a) 部署监控采集器（Prometheus node_exporter / Zabbix agent）；b) 在边缘放置探针（台湾节点或VPS）用于主动监测延迟与丢包；c) 集中告警平台（Alertmanager / Zabbix server / PagerDuty）。

2. 必备监控指标清单

2. 指标：a) 网络层：ICMP延迟、丢包率、抖动、带宽利用率、接口错误（ifInErrors/ifOutErrors）；b) 路由层：BGP邻居状态、AS路径变更、路由抖动；c) 主机层：CPU、内存、磁盘IO、磁盘使用；d) 应用层：TCP连接数、响应时间、HTTP 5xx/4xx。小分段：列出每项对应的采集方式（snmp/ping/mtr/agent）。

3. 主动网络探测具体命令与频率

3. 步骤：a) 使用ping进行延迟与丢包检测：ping -c 10 -i 0.2 目标IP，建议每1分钟一次短批次（10包）并取均值和丢包率；b) 使用mtr做路径追踪：mtr -r -c 100 目标IP，每1小时一次保存报告；c) 带宽与抖动：iperf3 -c 目标 -t 60 用于排查带宽瓶颈，日常每周执行一次。小分段：将输出写入监控系统并设定历史对比。

4. 在Zabbix中配置采集与报警（示例）

4. 步骤：a) 安装agent并在Zabbix Web添加主机，Template中选择Template OS Linux；b) 添加自定义项：net.if.in[%if]、net.if.out[%if]、icmp.ping；c) 创建触发器：如{host:icmppingloss.last()}>5 表示丢包>5%触发；d) 告警动作：配置邮件/短信/微信机器人Webhook并建立Escalation策略（5分钟重复两次后发短信）。小分段：测试触发并用ack功能验证抑制误报。

5. Prometheus + Alertmanager 报警实操

5. 步骤：a) 在服务器部署node_exporter和blackbox_exporter（用于ping/http探测）；b) 在prometheus.yml中配置scrape job与blackbox probe；c) 编写Alert规则（例：avg_over_time(probe_success[5m]) < 0.9 为探测成功率低于90%）；d) 在Alertmanager配置接收器（email、Slack、Webhook）并设定分组与静默（group_wait/group_interval/group_interval）。小分段：用curl模拟报警发送测试接收器。

6. 阈值建议与分级策略

6. 建议阈值（可按业务调整）：a) 延迟：单跳<50ms正常，>100ms警告，>200ms严重；b) 丢包：>1%警告，>5%严重；c) CPU：>70%警告，>90%严重；d) 磁盘：使用率>80%警告，>95%严重。小分段：定义P1/P2/P3级别并约定响应时间（P1 15分钟内响应）。

7. 告警抑制与维护窗口设置

7. 步骤：a) 在告警平台设定维护窗口（Maintenance）避免例行备份或全量升级期间误报；b) 使用抑制规则（silence）防止同类故障泛滥通知；c) 设置自动恢复检测，例如连续5分钟指标恢复则自动Close告警。小分段：记录每次维护并与监控系统同步API调用。

8. 常见故障诊断与快速处置流程

8. 流程：a) 链路高丢包：先定位是链路还是服务器，使用mtr从不同地点对比，若为链路问题则联系CN2承运商并提供mtr/traceroute报告；b) 高延迟但无丢包：检查服务器网络队列、NIC中断（ethtool -S），调整TCP参数（/proc/sys/net/ipv4/tcp_*）；c) 路由抖动：查看BGP邻居状态（show ip bgp neighbors），抓取bgp更新并上报给上游。小分段：保存证据（tcpdump, ifconfig, sar）并归档工单。

9. 日常巡检清单与自动化建议

9. 清单：a) 每日：检查告警面板、核对未读/未处理告警、查看关键链路延迟统计；b) 每周：汇总丢包/延迟趋势、检查BGP更新频率；c) 每月：做一次带宽与压力测试、验证备份与恢复。小分段：建议使用脚本自动收集日志并生成日报（cron + curl -> 存入Grafana/ES）。

10. 常见问答一：如何快速判断是CN2线路问题还是服务器自身问题？

问：如何快速判断是CN2线路问题还是服务器自身问题？

答：先用外部探针（非同机）对目标做ping/mtr对比，如果从台湾外多点都出现相同丢包/延迟，倾向链路问题；若仅本机流量异常检查本机网卡（ethtool）、队列（tc）、CPU/IO资源并排查进程；同时查看BGP邻居和上游路由以排除路由变更。

11. 常见问答二：报警频繁误报如何优化？

问：报警频繁误报如何优化？

答：优化步骤：增加指标聚合（如使用avg_over_time替代瞬时值）、提高触发窗口（例如5分钟连续失败），配置抑制规则与维护窗口，采用分级告警并对噪声源使用静默策略；最终通过回溯历史数据调整阈值。

12. 常见问答三：紧急联络和证据收集的标准流程是什么？

问：紧急联络和证据收集的标准流程是什么？

答：一旦P1级故障：立即通知值班工程师并发起工单，采集证据包括：mtr/traceroute、ping批次、tcpdump抓包、server top/sar 输出和BGP更新时间线；将证据上传到工单系统并同时通知上游承运商，按SLA推进恢复并在问题解决后做事后分析。

来源：台湾cn2线路服务器日常监控指标和报警设置实用手册