37 个在运行系统巡检完成: 三类问题几乎每个项目都有

结论先行:10 月下旬到 11 月中旬,我们对 37 个仍在运行的系统做了一轮年度巡检,覆盖备份、证书与依赖、账号权限、容量与日志、应急预案五项。结论比预想的好,也比预想的糟:没有发现即将宕机的系统,但三类问题几乎每个项目都存在,而且都不会立刻发作。

这轮巡检的起因很朴素:一个上线两年的项目,客户 IT 换人时发现没人知道服务器上跑着哪几个服务、证书什么时候到期。系统没坏,但所有人都心里没底。我们意识到,交付时给的部署文档,两年后往往已经不是最新的那一版——于是有了这次全覆盖巡检。

37 个在运行系统:查了什么,查出什么 五项检查 · 全部有判定标准 备份策略与可恢复性 37/37 有备份 SSL 证书与域名到期 11 个 90 天内到期 账号权限与离职停用 14 个存在共用账号 容量、日志与磁盘水位 2 个超 80% 应急预案与联系人 全部更新为在岗人员 三类共性问题 · 涉及系统数 账号共用 / 离职未停用 14 证书与域名到期无人跟 11 备份从未做过恢复演练 9 三项可同时存在于同一个系统,故合计大于 37。 共性问题不在软件本身,而在"上线之后谁管"。
绿点 = 该项整体健康;橙点 = 存在需要处置的具体项

一、五项检查,每项都有判定标准

检查项判定标准不通过怎么处置
备份与恢复数据库每日全备 + 增量;近 3 个月内至少一次真实恢复演练当场做一次恢复到临时库,核对行数与金额合计
证书与域名SSL 与域名剩余有效期 > 90 天;到期提醒已配置到在岗人员代客户续期或协助配置自动提醒
账号权限无共用账号;离职人员账号已停用;管理员账号不超过 3 个出具权限梳理表,由客户确认后调整
容量与日志磁盘水位 < 80%;日志保留 ≥ 90 天;错误日志每日有人看加盘、清理归档、配置日志轮转与告警
应急预案断电、断网、设备故障三场景有书面处置步骤;联系人电话可打通重写一页纸预案,现场走一遍流程

二、三类共性问题,共同点是"不会立刻出事"

  1. 证书与域名到期没人跟。11 个系统在 90 天内到期。证书过期不会让服务器宕机,但会让所有人的浏览器弹出红色警告,业务当场停摆——而且往往发生在周一早上。根因是采购时用谁的名义注册、续费提醒发到谁的邮箱,交付完就没人管了。
  2. 备份每天做,但从没验证过能不能恢复。9 个系统属于这种情况。备份文件在,大小也正常,但我们做恢复演练时发现其中 2 个的备份是不完整的(备份脚本报错被忽略,只备了部分表)。没验证过的备份,等于没有备份。
  3. 账号共用、离职账号未停用。14 个系统存在这种情况,最典型的是"仓库共用 admin、密码贴在显示器上"。这不是技术问题,是管理问题,但审计一旦查到,责任在系统方。
这三件事的共同点:都不会立刻出事,出事就是大事。运维的价值不在救火,在于让火不烧起来。

三、我们把什么改进了交付包

  • 巡检清单进交付包:五项检查表随部署文档一起移交,客户 IT 可以照着每季度自查一次。
  • 证书到期提前 30 天提醒:由我们登记到期日并主动通知,不等客户发现网站变红。
  • 备份恢复演练写进运维合同:每年至少一次真实恢复,出书面记录——这也是客户应对审计的材料。
  • 权限梳理表:上线时出一份角色-人员对照表,人员变动时更新,避免账号跟着人走。

四、给你的 5 分钟自查表

不用等供应商,四个问题就能判断你的系统有没有隐患:

  1. 上次真正恢复过一次备份是什么时候?如果答不上来,就是隐患。
  2. SSL 证书和域名,还有多少天到期?提醒邮件发到了谁的邮箱?
  3. 系统里现在有几个共用账号?离职同事的账号停了吗?
  4. 如果明天早上服务器起不来,**个电话打给谁?那个号码还有人接吗?

有类似的产线 / 信息化系统要立项?

先看报价逻辑,再聊需求:成本构成、选型对比、验收方式,我们都写在明面上。