Tree of Thoughts：推理搜索的思维树

原文链接： Tree of Thoughts: Deliberate Problem Solving with Large Language Models [90]

论文信息

• 年份：2023 [90]
• 作者：Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan [90]
• 作者背景（研究领域）：推理搜索/结构化思维 [90]
• 前后血缘关系（同主题）：前序：ReAct；后续：Graph of Thoughts

主旨

Tree of Thoughts 的主旨是把推理过程视为可搜索的树结构，通过多分支探索与评估，让模型在复杂问题上找到更可靠的解路径。[90]

背景与问题定义

论文指出传统链式思考是单一路径，遇到不确定或多约束问题时容易走偏。作者希望引入搜索与评估机制，让模型具备“试错与回溯”的能力，在有限预算内提升解题成功率。[90]

方法与机制

Tree of Thoughts 将推理拆分成“节点状态”，每个节点是一个阶段性思考结果。模型扩展多个候选节点，再通过评分函数或外部评估选择更优分支。该框架强调可控的搜索深度与分支数，兼顾质量与成本。[90]

实验与结果

论文在数学推理、逻辑规划等任务上对比单路径思考与树搜索策略。结果显示，多分支探索与回溯机制显著提高了成功率，尤其是在需要多步规划的场景中优势更明显。[90]

关键数据结果

• 通过树搜索与评估结合，多个推理任务上的正确率显著高于单路径思考基线。[90]

工程启示（优化点）

• 将推理拆成可评分的中间状态，便于搜索与回溯。
• 设计轻量级评估函数，避免搜索成本失控。
• 用搜索预算控制推理深度与分支数量。
• 允许失败分支回退，避免单路径“锁死”。

局限与延伸

Tree of Thoughts 需要额外的评估或搜索预算，可能带来成本提升。若评估函数不可靠，搜索也会偏离目标。延伸方向包括：更自动化的评估器、与工具调用融合的搜索策略，以及多代理协作中的分布式搜索。[90]