当推理成本比训练更贵时，我们到底在优化什么
从单次请求的 token 成本出发，重新审视 KV cache、批处理与并发，并给出三条工程上可立刻动手的方向。
写作
查看全部 →
最近在思考
不追热点的随笔。每一篇都试图把一个工程问题讲清楚。
一张卡跑不动时，多张卡也救不了你
把多卡推理拆成通信、显存、调度三件事，聊聊为什么「加卡」经常不顶用，以及什么情况下才有用。
把推理集群当作一台计算机来设计
从单机 OS 的视角看集群调度：进程、内存、IO。结论是：单机经验可以直接借鉴，但前提是你愿意承认它是错的。
产品
了解更多 →
AIPMS — 给 AI 团队的项目管理
不是又一张看板。我们假设你的项目里同时存在「数据」、「实验」、「推理服务」三种工作流。
把 run / checkpoint / metric 放进同一行
每次实验自动关联 Git commit、数据快照和评估指标，不用再回 Slack 翻截图。
按团队、模型、项目三维切分
GPU 配额不再拍脑袋分配，看得见每一笔算力的去向和产出的实验。
从实验卡到线上版本的一条路径
评估通过即生成可灰度的推理服务，回滚和影子流量是默认动作，不是高级功能。