[63] KServe：把推理服务当成可运维的工作负载

• 资料类型：官方文档/系统
• 原始来源：https://kserve.github.io/website/
• 对应章节：第 17 章（部署与运维：推理服务化）

一句话

当你需要灰度、扩缩容、版本路由时，推理服务就不再是脚本，而是平台能力。

你该从 KServe 带走什么

• 部署与路由标准化：让模型服务像普通服务一样有版本、流量与回滚策略。
• 运维能力优先：健康检查、扩缩容、观测与权限边界，都是上线门槛。
• 别过度平台化：先把最小闭环跑通（压测/观测/回滚），再引入更重的编排体系。

在本书里怎么用

• 第 11 章把它作为推理服务编排的选项，强调何时需要、何时不需要。
• 提醒读者：平台化会引入新复杂度，必须配套 runbook 与门禁。

常见误用

• 还没把指标与回滚做好就上平台，出问题更难定位。
• 把平台当银弹，忽略模型本身的吞吐/尾延迟瓶颈。