结论先行:10 月下旬到 11 月中旬,我们对 37 个仍在运行的系统做了一轮年度巡检,覆盖备份、证书与依赖、账号权限、容量与日志、应急预案五项。结论比预想的好,也比预想的糟:没有发现即将宕机的系统,但三类问题几乎每个项目都存在,而且都不会立刻发作。
这轮巡检的起因很朴素:一个上线两年的项目,客户 IT 换人时发现没人知道服务器上跑着哪几个服务、证书什么时候到期。系统没坏,但所有人都心里没底。我们意识到,交付时给的部署文档,两年后往往已经不是最新的那一版——于是有了这次全覆盖巡检。
一、五项检查,每项都有判定标准
| 检查项 | 判定标准 | 不通过怎么处置 |
|---|---|---|
| 备份与恢复 | 数据库每日全备 + 增量;近 3 个月内至少一次真实恢复演练 | 当场做一次恢复到临时库,核对行数与金额合计 |
| 证书与域名 | SSL 与域名剩余有效期 > 90 天;到期提醒已配置到在岗人员 | 代客户续期或协助配置自动提醒 |
| 账号权限 | 无共用账号;离职人员账号已停用;管理员账号不超过 3 个 | 出具权限梳理表,由客户确认后调整 |
| 容量与日志 | 磁盘水位 < 80%;日志保留 ≥ 90 天;错误日志每日有人看 | 加盘、清理归档、配置日志轮转与告警 |
| 应急预案 | 断电、断网、设备故障三场景有书面处置步骤;联系人电话可打通 | 重写一页纸预案,现场走一遍流程 |
二、三类共性问题,共同点是"不会立刻出事"
- 证书与域名到期没人跟。11 个系统在 90 天内到期。证书过期不会让服务器宕机,但会让所有人的浏览器弹出红色警告,业务当场停摆——而且往往发生在周一早上。根因是采购时用谁的名义注册、续费提醒发到谁的邮箱,交付完就没人管了。
- 备份每天做,但从没验证过能不能恢复。9 个系统属于这种情况。备份文件在,大小也正常,但我们做恢复演练时发现其中 2 个的备份是不完整的(备份脚本报错被忽略,只备了部分表)。没验证过的备份,等于没有备份。
- 账号共用、离职账号未停用。14 个系统存在这种情况,最典型的是"仓库共用 admin、密码贴在显示器上"。这不是技术问题,是管理问题,但审计一旦查到,责任在系统方。
这三件事的共同点:都不会立刻出事,出事就是大事。运维的价值不在救火,在于让火不烧起来。
三、我们把什么改进了交付包
- 巡检清单进交付包:五项检查表随部署文档一起移交,客户 IT 可以照着每季度自查一次。
- 证书到期提前 30 天提醒:由我们登记到期日并主动通知,不等客户发现网站变红。
- 备份恢复演练写进运维合同:每年至少一次真实恢复,出书面记录——这也是客户应对审计的材料。
- 权限梳理表:上线时出一份角色-人员对照表,人员变动时更新,避免账号跟着人走。
四、给你的 5 分钟自查表
不用等供应商,四个问题就能判断你的系统有没有隐患:
- 上次真正恢复过一次备份是什么时候?如果答不上来,就是隐患。
- SSL 证书和域名,还有多少天到期?提醒邮件发到了谁的邮箱?
- 系统里现在有几个共用账号?离职同事的账号停了吗?
- 如果明天早上服务器起不来,**个电话打给谁?那个号码还有人接吗?