自适应并行推理：高效推理扩展的下一个范式

【AI 翻译 · 未评分】自适应并行推理概述。如果推理模型能够自行决定何时分解和并行化独立子任务、生成多少并发线程以及如何根据当前问题协调它们，会怎样？我们提供了对并行推理领域近期进展的详细分析，特别是自适应并行推理。披露：本文部分是对该领域的综述，部分是对自适应并行推理的观点。作者之一 (Tony Lian) 共同领导了 ThreadWeaver (Lian et al., 2025)，这是下文讨论的方法之一。作者旨在按各自的方式呈现每种方法。动机：LLM 推理能力的近期进展主要由推理时扩展驱动，此外还有数据和参数扩展。显式输出推理标记（通过中间步骤、回溯和探索）的模型现在主导数学、编码和代理基准测试。这些行为允许模型探索替代假设、纠正早期错误并综合结论，而不是承诺单一解决方案。问题是顺序推理随着探索量线性扩展。扩展顺序推理标记是有成本的，因为模型可能超过有效上下文限制。中间探索路径的积累使得模型在关注上下文信息时难以区分干扰项，导致模型性能下降，也称为上下文腐烂。延迟也随着推理长度成比例增长。对于需要数百万标记进行探索和规划的复杂任务，用户等待数十分钟甚至数小时并不罕见。随着我们继续沿输出序列长度维度扩展，我们也使推理变得缓慢...