AI 基础设施企业运营管理系统运维故障自愈交付 5 周
AI 智能运维控制面板
服务挂了不用等人发现，系统自己判定并拉起来
示例数据：本页数值为演示用示例，真实口径与数值待补充。
监控对象
50项
自愈成功率
96%
平均恢复
23秒
人工介入
-80%
背景与痛点
原来卡在哪
- 服务对象
- 自研系统
- 行业
- AI 基础设施
- 规模
- 本机 / 单机多服务环境
- 上线时间
- 2026-08
服务挂了靠人发现
等用户反馈时往往已经停了几小时
定时任务报成功却没产出
状态显示正常，实际什么都没干
重启靠人手动操作
半夜出故障只能等第二天
解决方案
怎么做的
维持一个常驻监控进程：周期性探测各服务与任务 → 判定异常类型 → 按白名单执行自愈动作 → 记录并告警。
- 自愈动作走白名单，只做已知安全的操作，不盲重启
- 判定依据看真实产出而非状态码，避免「假健康」
- 每次自愈都留日志，可追溯谁在什么时候做了什么
数据流
周期探测→异常判定→白名单自愈→结果复核→日志与告警
技术栈
Python进程管理定时调度探针设计日志分析
设计思路
为什么这么设计，而不是那么设计
设计目标让系统在没人看的时候也能自己维持住
为什么要做
- 故障发现太晚靠人发现，等发现时往往已经停了几小时
- 假健康最难防状态码显示正常、服务实际僵死，这种故障最隐蔽
- 半夜没人管非工作时间出故障只能干等
关键取舍
- 宁可不修也不要修坏自愈只做白名单内的动作，不确定的不动
- 看产出不看状态状态码会骗人，产出文件不会
- 告警要克制自愈成功的不用打扰人，只有修不了才喊
技术决策
- 真实探针优先发真请求验证功能，而不是只看端口在不在
- 加冷却窗口防止重启风暴把系统打垮
- 区分会话归属不同会话的进程不能互相误伤
风险与兜底
- 误伤用户会话最需要小心的边界，需按会话归属区分处理
- 监控自身挂掉谁来监控监控者？需要独立的第二重守护
- 重启掩盖根因频繁自愈说明有深层问题，需定期看自愈频率
健康判断必须跑真实功能探针
端口开着、状态码正常，服务却已经僵死——只看表面指标的系统会出现「假健康」，这正是最需要监控的故障。
谁来判断「重启成功」？必须再探一次
发出重启命令不等于服务起来了。不复核的自愈，只是把「服务挂了」变成「以为修好了」。
系统架构
这套系统是怎么搭起来的
核心难点是「怎么判定它真的坏了」——状态码说没事、服务其实僵死，是最常见的坑。
L1探测层判断服务到底活着没有
L2判定层区分「真故障」和「抖一下」
L3自愈层能自动修的自己修，修不了的喊人
L4可观测层让整个过程可见可查
点任意一个模块
会说明这个模块负责什么，以及为什么这么设计。
功能画廊
点开截图上的点，看每个功能在做什么
每一张都是系统真实界面结构。琥珀色的点是功能热区，点它说明这个位置的功能是什么、替你省了什么。
01全局健康总览：服务状态、自愈率与关键读数
这张图在证明所有对象的健康度一屏看完
选择一个功能热区
截图上的琥珀色圆点可以点击，查看该位置的功能说明。
改造前后
拖动分割线，看人工流程和 Agent 的差别
左：人工处理留下的日志。右：系统自动监控与自愈后的健康总览。
拖动下面的滑块可以左右对比。键盘用户可以用方向键调节。
功能清单
这个 Agent 具体能干哪些活
服务探测
周期性探测端口、进程与真实功能
真实请求验证，非仅端口检查
任务产出探测
校验定时任务是否真的产出
按产出文件增量判定
异常判定
区分瞬时抖动与持续故障
连续 N 次失败才判定
白名单自愈
按白名单执行重启与拉起
仅执行已知安全动作
自愈复核
动作后再次探测确认恢复
未恢复则告警
日志与告警
全过程留痕，失败才打扰人
自愈成功静默记录
价值量化
上线前和上线后，差在哪
每一项都标注了统计口径。没有把握的数据我们留空标注「待补充」，不填 0 充数。
节省人力
待补充
待补充
获客效果
待补充
成本变化
待补充
回本周期
待补充
待补充
你的场景也能这么跑
先做一次免费诊断：我们看你的流程，告诉你哪些环节能自动化、能省多少人。