
1.
— 接到告警后,负责人按预案触发应急响应,发送预制通知模板给机房运维、客户代表和管理层,明确到岗时间与联络方式。
— 立刻电话或加密消息确认现场访问权限(门禁、访客单),若需要远程操作,确认VPN/跳板与远程KVM账号已生效并双因素通过。
2.
— 到达现场第一要务是评估安全(烟雾、水侵、异味、电气冒烟等),如有安全隐患立即撤离并通知机房安全负责人。
— 在确保安全下,检查机柜、PDU、UPS状态灯、电表、环境监控(温湿度、机房烟感)并拍照留证,记录时间和观察结果。
3.
— 通过监控系统、业务告警和用户反馈确定受影响的服务与影响面(单节点、集群、跨机房)。
— 根据影响面判断是否触发故障切换策略(本地恢复优先、跨机房热备切换或回滚到上游CDN/备用站点)。
4.
— 远程工程师通过控制台/KVM与现场工程师协同,按预定runbook逐项操作,现场负责物理操作(更换光纤、重插网线、重启交换机等)。
— 所有操作前后均在变更单记录:操作者、时间、步骤、预期影响、回滚方案和签名确认。
5.
— 检查UPS与发电机日志,若为电力故障,按PDU顺序安全断电/上电,避免同时对多个冗余单元操作导致故障放大。
— 在更换硬件(硬盘、网卡、交换板)前确认热插拔安全,记录序列号,若需厂商远程协助,提供机柜号与设备序列号。
6.
— 若需切换到备用链路或机房,先降低DNS TTL并按预案调整BGP/路由(由网络工程师在变更窗口内执行),同时更新负载均衡健康检查策略。
— 对外业务采用灰度切换:先将小流量引到备用路径验证无误,再逐步扩大到全部流量,监控错误率与延迟。
7.
— 依据RPO/RTO,从最近可用备份或副本恢复数据,优先使用异地复制的只读副本进行校验,确认数据一致性后提升为主库。
— 恢复后运行完整性校验脚本,确认事务日志连续性,若有分段恢复,按时间窗口逐步回放并记录恢复点。
8.
— 执行预先定义的回归测试用例(接口、页面、批处理、定时任务),并通过自动化脚本与人工抽查双重确认。
— 当所有关键指标回到正常范围且业务方签字同意后,按变更单正式将服务标记为“已恢复”。
9.
— 恢复后与当地机房和值班团队进行交接,移交已完成的操作记录、故障快照和后续观察项。
— 更新应急预案与runbook,加入此次故障的教训、时间线和改进建议,安排复盘会议。
10.
答:人员需携带公司签发的证件、访问授权函、机房白名单、访客登记材料,并提前在门禁系统授权;远程操作需具备VPN、跳板账号、KVM/控制台权限和多因素认证,且所有权限应事先由安全与合规审核通过。
11.
答:优先启动跨机房或云端热备切换,将流量切到备用站点或CDN节点;同时按RTO安排分阶段数据恢复,保证最小可用业务先上线,再做全量恢复。
12.
答:完成复盘后,应更新监控告警阈值、增加关键设备的冗余、定期演练应急预案、优化备份与复制策略,并根据故障根因修订操作规范与SLA。