教导 LLM 更新信念以实现高效的长时程交互

【AI 翻译 · 未评分】ABBEL 与传统递归摘要的概述。信念取代完整的交互历史作为代理的工作上下文，信念评分通过监督每个信念状态的内容来提高性能。随着任务时程的增长，LLM 上下文无法无限扩展。自我摘要实现了简洁、可解释的上下文，但带来了显著的性能成本，特别是在高质量数据稀缺的人类协助领域，如协作代码生成。我们通过 ABBEL 解决这一问题：这是一个以自然语言信念状态形式隔离和监督摘要信息内容的框架。动机：递归摘要的成本。为了有效协助处理日益复杂的任务（如软件开发），语言模型必须能够与我们进行数百甚至数千步的交互。对于此类长任务，将整个交互历史保留在上下文中是不切实际的。此前使用的启发式方法是生成摘要，有时称为上下文压缩。例如，Cursor 最新的模型 composer 2.5 在训练期间使用压缩以提高性能（Cassano et al., 2026）。除了 composer，Grandcode（DeepReinforce et al., 2026）是第一个在在线编程比赛中始终击败所有人类竞争对手的系统，尽管使用了最新的高效注意力模型之一（Qwen 3.5-397B），仍然发现有必要采用上下文摘要。但压缩存在问题。尽管基准测试中看似性能差距很小，像 Cursor 这样的模型服务器继续建议用户在任务中途避免对编码助手使用压缩（Heule et al., 2026）。要理解原因，请看下文 RL 微调期间上下文摘要模型与完整上下文模型在 Combination Lock（一款允许最多 16 次猜测的类 Wordle 游戏）上的性能对比。虽然两种模型类型在训练过程中都有改进...