ParallelSpec：并行草稿的投机解码

原文链接： ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [6]

论文信息

• 年份：2024 [6]
• 作者：Zilin Xiao, Hongming Zhang, Tao Ge, Siru Ouyang, Vicente Ordonez, Dong Yu [6]
• 作者背景（研究领域）：投机解码/并行预测/推理加速 [6]
• 前后血缘关系（同主题）：前序：Speculative Sampling；后续：无 [6]

主旨

ParallelSpec 通过并行草稿模型替代自回归草稿，降低草稿阶段计算负担，提升整体投机解码速度。[6]

背景与问题定义

现有投机解码仍需自回归生成草稿，导致草稿阶段成本高、限制整体加速潜力。[6] 论文的问题是：能否在保持分布一致的前提下，将草稿生成并行化，从而进一步缩短时延。[6]

方法与机制

ParallelSpec 训练一个并行 drafter，在一次前向中预测多个未来 token，并与目标模型分布对齐。[6] 该草稿模型可插入现有投机解码框架，减少序列依赖带来的计算瓶颈。[6]

实验与结果

实验显示 ParallelSpec 在多域文本生成任务上带来显著时延下降，并在 Llama-2-13B 上实现整体 speedup。[6] 论文强调并行草稿是对投机解码的系统化补强，而不仅是更强草稿模型。[6]

关键数据结果

• 在多个生成基准上，时延最高降低 62%。[6]
• 在 Llama-2-13B 上实现 2.84× overall speedup。[6]

工程启示（优化点）

• 将草稿阶段并行化是扩大投机解码收益的关键路径。[6]
• drafter 的训练成本需与 speedup 收益权衡。[6]
• 在落地时评估不同域的接受率差异。[6]
• 可与其他验证策略组合形成系统级加速方案。[6]

局限与延伸

并行 drafter 需要额外训练，且在复杂推理任务上的接受率仍可能受限。[6] 后续可探索更轻量的并行预测结构或与多头预测结合。[6]