实验在 MLflow，服务在 K8s，文档在 Notion
三个工具，三个数据源，谁是源头说不清。线上版本到底跑了哪个 checkpoint，全靠人记得。
问题
现在 AI 团队的项目管理是怎么崩的
不是看板不够，是工具之间相互看不见。
算力按团队切一刀，平均主义
项目 A 不够用，项目 B 大半时间闲置。月底账单对不上，谁也没真用满。
「上线」是一个跨 5 个系统的仪式
评估通过 → 导出 → 部署 → 灰度 → 监控。任何一个步骤掉链子就要回滚。
特性
AIPMS 怎么解
六个模块，对应一条从「想法」到「线上服务」的路径。
实验追踪 · 一次实验一行
每次实验自动关联 Git commit、数据快照、评估指标和负责人。在一行里看完整段历史，不用回 Slack 翻截图。
- 每次 run 自动捕获代码版本、数据 hash、依赖
- 评估指标按数据集 / 任务分组，避免「综合分」遮盖细节
- 失败 run 单独归档，作为「不该再踩一次」的提示
commit 8a3f2c15 min ago
0.812mt-bench
0.704if-eval
+3.4%vs baseline
dataset: zh-tech-v2 (rev 17)
base: qwen-14b-sft-iter2
lora: rank=64 alpha=128
epochs: 3 / lr: 1e-4 / bs: 32算力配额 · 三维切分
按团队、模型、项目切分。看得见每一笔算力的去向和它产出的实验，而不是月底一张 Excel。
- 团队维度：避免「隔壁组」悄悄占用
- 模型维度：每个模型一个独立池，量化互不挤压
- 项目维度：项目可临时借调，月底自动回收
team-A · 13b-pool68%
team-A · 7b-pool31%
team-B · 70b-pool88%
预计本月溢出：team-B · 70b-pool
服务发布 · 从评估通过到线上，一条路
评估通过即生成可灰度的推理服务。回滚和影子流量是默认动作，不是高级功能。
- 自动生成 candidate version，绑死对应 checkpoint
- 影子流量默认开启 24h，无指标回归才进灰度
- 任何指标下滑 ≥ 5% 自动回滚，发到对应负责人
exp-2417 ✓
→
candidate v0.6.3
→
shadow · 14h
→
canary 5%
+1.8%token 延迟
05xx
数据集快照 · 可追溯、可复现
每个实验关联的数据集是「那一刻的快照」，而不是一个会变的引用。
- 数据集版本化，每次变更生成新 hash
- 与实验 / 服务一一对应，删除前需要确认无依赖
zh-tech-v2
├── v17 (3 days ago) ← exp-2417, exp-2418
├── v16 (1 week ago) ← exp-2411 ~ 2416
└── v15 (2 weeks ago) ← exp-2401 ~ 2410团队视图 · 跨项目的可见性
不是又一张报表。负责人能在一屏里看见本周团队产出了什么、占用了什么。
- 本周实验、已灰度、回滚次数一目了然
- 算力按团队 / 项目 / 模型三维聚合
42本周实验
3已灰度
2回滚
1.4×算力 ROI
可编程 · 所有动作都有 API
不强迫你打开 UI 做事。每个工作流都可以用 Python SDK / CLI 触发，CI 里直接调。
- 实验、配额、服务发布全部可脚本化
- Webhook + Event Stream，状态变化可订阅
$ aipms experiment run \
--commit "$(git rev-parse HEAD)" \
--dataset zh-tech-v2@v17 \
--base qwen-14b-sft-iter2
→ run-2417 started
时间表
现在到 v1.0
0.5 已经可以试用。v1.0 之前还会做三件事。
影子流量 + 模型级配额
让新版本在真实流量下走 24h，无回归才进灰度。同时把配额从团队级下沉到模型级。
数据集血缘
把「这条数据训练出来的模型影响了哪些服务」变成可点击的图，而不是文档里的注释。
多团队 + 权限
支持跨团队实验、算力借用审计、SSO 与 SCIM，面向 50 人以上团队。