PORA让大语言模型智能体自主决定何时深入推理

由Qi Zhang带领的研究团队发布了PORA，这是一种让大语言模型智能体学会判断何时深入推理能提升结果的技术。训练时，系统对同一步骤运行两次：一次设置较短的推理限制，另一次设置较长的限制，再比较哪种方式能带来更好的最终结果。实际运行时，控制器会依据学到的评估结果和剩余计算预算，选择成本更低的方案，而不必两种方案都运行。在记忆、编程、零售和数学任务上的测试显示，PORA在一项记忆基准测试中的得分最高提高了32.9%，在数学任务中调用模型的次数最多减少了31%。