[48] GPTQ：后训练量化（PTQ）不是白嫖

• 资料类型：论文
• 原始来源：https://arxiv.org/abs/2210.17323
• 对应章节：第 16 章（推理优化：量化）

一句话

GPTQ 能把权重压到更小，但它不是免费午餐：你必须用同一评测集验证质量退化是否可接受。

你该从 GPTQ 带走什么

• 量化是工程取舍：省显存/提吞吐，换来一定质量风险与更复杂的发布流程。
• 评测先行：别等上线出问题才回滚；在部署前就用固定集做对比表。
• 回滚要更快：量化版本就是一条岔路，必须能一键切回 BF16/FP16 稳定版本。

在本书里怎么用

• 第 11 章把它放进BF16 vs INT4的对比闭环：质量/延迟/显存/成本同表对比。
• 强调门禁：退化超过阈值就回滚，不要硬扛。

常见误用

• 只看吞吐提升，不看质量与尾延迟。
• 把量化当成最终答案，忽略缓存/路由/批处理这些更常见的工程优化杠杆。