这一页不讲画质、不讲片库,只讲一件最实际的事:出问题的时候,多久被发现、多久被定级、多久被修好,以及在这段时间里你能看到什么。下面四个环节串起来,就是我们整个故障处理链路。
调度器每 5 分钟对 327 条线路各发一次探测,拆成域名解析、握手、首帧三个环节分别计时。连续 2 轮失败即自动生成工单并推到值班工程师手机上,不依赖任何人手动上报,凌晨也一样。
P1 为 60 条以上线路同时失效,5 分钟响应、修复目标 30 分钟;P2 为 21 到 59 条,15 分钟响应、目标 90 分钟;P3 为 20 条以下或单地区异常,2 小时内处理;P4 为体验类建议,48 小时归档。
常规维护固定排在每周三 02:00 至 04:00,单次不超过 120 分钟,涉及数据库结构变更会提前 48 小时挂公告。除 P1 抢修外,所有变更一律进这个窗口,不占用白天时段临时下线。
从工单创建到状态页出现条目,平均耗时 28 秒。公告分已发现、定位中、修复中、已恢复四种状态,每条带时间戳和受影响线路数,并且与 App 内公告读同一数据源,不会两边各说一套。
数据口径说明:巡检间隔为调度器实际下发周期,不含人工触发;故障分级按自动判定规则统计;公告同步为工单创建至状态页条目出现的平均时延;可用性按 327 条线路加权计算,含维护窗口内的不可用时长,未做剔除。
下面三条来自实际提交过工单的用户,我们只做了删减和措辞整理,没有替他们加好话。他们关心的都不是界面,而是「多久恢复」和「有没有人管」。
8 月 3 号晚上十点多,我这边三条线路同时打不开,本来都准备洗洗睡了。状态页 40 秒后出了条目,写着 P2、影响 21 条线路,凌晨 0:12 变成「已恢复」。第二天我去翻了工单回执,从上报告警到恢复一共 71 分钟。比以前好太多,但我还是希望 P2 能再快一点。
我是冲着它敢把维护时间写死才留下来的。上周三凌晨两点整,App 直接弹出维护页,上面有剩余分钟数,我盯着倒计时看完了整个过程,03:57 就恢复了。要说毛病也有,白天偶尔会有几十秒的抖动,虽然一般自己就过去了,但那一刻确实挺烦人的。
有一次其实是我本地 DNS 的问题,我却跑去工单里骂它挂了。工程师回得很快,直接贴了我所在地区的探测记录:那两小时里 327 条线路全部正常。尴尬归尴尬,能拿数据出来说话这一点我认可。他们公告写得偏简略,细节得去状态页翻。
下面五条是工单里被问得最多的,答案里包含我们做不到的部分。