[59] AWQ：量化的目标是够用且更便宜

• 资料类型：论文
• 原始来源：https://arxiv.org/abs/2306.00978
• 对应章节：第 16 章（推理优化：量化）

一句话

量化不是追求极限压缩，而是把显存/吞吐/成本压到业务能接受的甜点区间。

你该从 AWQ 带走什么

• 量化会影响质量：必须用同评测集对比，确定退化是否可接受。
• 工程闭环更重要：量化只是手段，发布门禁、灰度、回滚才是上线保障。
• 看并发与尾延迟：单次延迟不代表真实体验，排队时间才是线上杀手。

在本书里怎么用

• 第 11 章把它放进量化对比表：BF16 vs INT4，质量/吞吐/显存/成本一起看。
• 作为成本管理案例：省钱也要可追溯、可解释。

常见误用

• 只看显存下降不看效果退化，导致业务指标下滑。
• 没有回滚策略，量化上线后出问题只能硬扛。